Construit au XIIIème siècle, puis détruit à la Révolution française, le château est restauré par Eugène Viollet-Le-Duc de 1860 à 1867 dans un style néogothique. Alphonse de Lamartine, ami de la famille, y trouva sa source d'inspiration pour écrire son célèbre poème "Le Vallon". Séjournant plusieurs étés de suite dans une maison proche du château, le peintre Johan Barthold Jongkind a croqué ces paysages, laissant derrière lui toute une série d'aquarelles. Ce lieu romantique a également inspiré Stéphanie de Virieu, élève de David , artiste peintre et sculptrice et la poétesse et romancière Anna de Noailles.