Ее влияние ограничивалось тем, что она назначала родственников на престижные посты. Вскоре высшие командные посты в армии заняли ее трое братьев, как полагают историки, в ущерб государственным интересам страны, поскольку вину за поражения в итальянских походах обычно списывают на них – Лотрека, Лепара и Лекена. На этом, собственно, и закончилось влияние Франсуазы де Шатобриан. И все же ее искренняя привязанность к Франциску ни у кого, даже у самых жестоких на язык, не оставляла никаких сомнений.
Однако Луиза Савойская, как женщина властная и не терпящая конкуренции, решила устранить фаворитку, и удобный момент, по ее мнению, настал в то время, когда Франциск I находился в мадридском плену. Король не забывал даму сердца, страстно мечтал увидеть ее, и королева решила: удобный момент для устранения независимой и всемогущей любовницы настал. Луиза Савойская сказала сыну, что организует для него долгожданную встречу в Байонне, где король оказался после освобождения, однако, когда ожидавший свидания с Франсуазой Франциск явился на условленное место, дамы сердца там не оказалось. Вместо нее появилась королева в сопровождении очаровательной молоденькой девушки Анны де Писле. Она была прекрасна как ангел, да к тому же невинна и чиста. Ее полудетское личико и огромные ясные глаза немедленно пленили сердце Франциска; а что касается алчности, присущей Анне впоследствии, то она никак не отражалась в ее взоре. Вскоре к королю прибыла Франсуаза де Шатобриан и, к своему отчаянию, выяснила, что безнадежно опоздала. Между фавориткой и новой пассией короля развернулась дамская война. Когда же любовница, почувствовавшая близкую отставку, потребовала от возлюбленного немедленного прямого ответа на животрепещущий для нее вопрос, он ответил с чисто мужской прямотой и жестокостью: он может предложить Франсуазе только одно – стать его любовницей под номером 2. Любящая женщина с гневом отказалась, но после этого ей уже ничего не осталось, как вернуться к мужу в Бретань. Она увидела короля через 6 лет.
