A la mort de Louis en novembre 1558, ses titres et possessions échoient à la famille de Castellane, elle aussi extrêmement prestigieuse puisque François de Castellane-Ornano Adhémar de Monteil de Grignan fut durant un quart de siècle lieutenant général de Provence, représentant de Louis XIV et à ce titre un véritable « vice-roi ». En 1669, en troisièmes noces, il épouse Françoise-Marguerite, fille de la marquise de Sévigné dont les lettres rendront le lieu célèbre. Une véritable cour s’y tient alors, on mène très grand train. Un peu trop sans doute, puisqu’à la mort de François de Grignan en 1714 la famille est en faillite.

C’est le début de la décadence. Les terres et le château passent de main en main : celles de Pauline de Simiane, fille du comte, celles de Jean-Baptiste de Félix du Muy en 1732, celles du baron de Saint-Mesmes. La Révolution éclate alors. Son propriétaire ayant été dénoncé à tort comme émigré, le château voit son mobilier et ses œuvres d’art pillés ou vendus. En 1794 la façade sud est détruite. Le monument, alors même que les premiers visiteurs, lecteurs de Madame de Sévigné, s’y rendent en pèlerinage, est en ruine.

Les lieux sont à l’abandon jusqu’en 1838, année où un citoyen aisé de Grignan, Léopold Faure, rachète l’édifice. Il entreprend de réparer, consolider ce qu’il peut des murs et de la toiture, tout en rachetant ici ou là le mobilier qui avait été dispersé. Ce sursis n’est que de courte durée. A sa mort, Boni de Castellane, un dandy célèbre, lui succède, mais c’est pour dilapider à nouveau le patrimoine en partie reconstitué. En fait, il faudra attendre le début du 20e siècle pour assister à la résurrection du château.

Marie Fontaine, riche veuve d’un commissaire de marine, acquiert le château en 1912 et se lance dans un gigantesque chantier de rénovation et de reconstruction. Elle s’entoure de conseillers avisés, d’artisans et d’artistes de qualité. C’est à cette initiative providentielle que l’on doit le château tel qu’il est aujourd’hui.