La Maison littéraire de Victor Hugo a été fondée en 1991 par Daisaku Ikeda (président de la SGI : Soka Gakkai International : association bouddhiste), en hommage à l’auteur.

Le Château des Roches a été construit aux XIIIe siècle : les ailes nord et est ont été édifiées vers 1740 et l’aile ouest a été adjointe au début du XIXe siècle. Il se compose d’un corps principal en pierre meulière et calcaire enduit, ainsi que de trois étages élevés sur un sous-sol en forme de « U ». L’aile nord est percée au sud par deux baies vitrées et une fenêtre ouvrant sur une terrasse, et surmontée par un étage mansardé sous un toit d’ardoise et de zinc. L’entrée est éclairée par une verrière.

De style néoclassique, le château était depuis 1804 la propriété du journaliste Louis-François Bertin (fondateur et directeur du « Journal des débats »). Il organise de 1815 à 1841, un salon littéraire où il convie des personnalités influentes de l’époque du Romantisme, dont Victor Hugo et sa maîtresse Juliette Drouet. Victor Hugo aimait y séjourner, notamment pour écrire.

En 1966, le site a été inscrit à l’inventaire des monuments historiques. La demeure accueille aujourd’hui des conférences et expositions sur l’écrivain. Elle réunit une collection d’environ 3 400 pièces, dont certaines sont classées « trésors nationaux » : manuscrits, lettres, journaux de bord, portraits et photographies d’époque, ainsi que des documents concernant la jeunesse de l’auteur, ses amours, ses années d’exil et son évolution politique.