En 2002, à l’emplacement de la Maison de Balzac, des fouilles archéologiques ont permis de découvrir des caves englobant des habitats troglodytiques datant de la fin du Moyen Âge (les seuls connus à Paris). À cette époque, le quartier était un village de cultivateurs, vignerons et carriers. Sous l’Ancien Régime, les coteaux sont transformés en terrasses et la maison de Balzac est le dernier témoignage des coteaux de Passy, tels qu’ils se présentaient jusqu’au XIXe siècle.

L’écrivain Honoré de Balzac a loué une partie de cette maison (la dépendance d’un hôtel) de 1840 à 1847, sous le pseudonyme de M. Breugnol (le nom de sa gouvernante et maîtresse), afin de fuir ses créanciers : la maison avait deux entrées donnant sur les rues Raynouard et Berton et elle était dissimulée par l’hôtel, où il fallait descendre deux étages avant d’arriver à son pavillon par l’intermédiaire d’un mot de passe.

En 1908, Louis Baudier de Royaumont (homme de lettres) sauve la maison en y installant un musée dédié à l’écrivain, qui devient un musée municipal en 1949.
Le pavillon a été classé au titre des monuments historiques le 3 mai 1913. La maison s’étend aujourd’hui sur trois niveaux : elle englobe l’ancien appartement de Balzac au rez-de-jardin et diverses pièces et dépendances occupées à l’origine par d’autres locataires.