En 1982, lors de la visite de François Mitterrand au Japon, le Président français lance l’idée au Premier ministre japonais Zenko Suzuki, de la création d’une maison qui présenterait la culture japonaise en France et renforcerait les liens entre les deux pays. En 1988, deux comités de parrainage ont été créés afin de soutenir le projet et l’association pour la construction de la Maison de la culture du Japon à Paris a été mise en place, pour l’organisation du concours d’architecture et la préparation des travaux de construction. En 1990, un jury international choisi le projet de deux jeunes architectes : le Japonais Masayuki Yamanaka et le Britannique Kenneth Armstrong. En septembre 1994, démarrent les travaux de construction (après les travaux de conception et l’obtention du permis de construire). La Fondation du Japon, dont la mission est d’assurer des échanges culturels entre le Japon et les autres pays, devient le maître d’ouvrage. Par la suite, elle gère et d’organise les activités de la Maison.

La Maison de la culture du Japon ouvre officiellement au public, le 24 septembre 1997.
Le bâtiment de 4500 m2 est adossé à la façade d’un immeuble haussmannien. Il comporte onze étages dont six apparents, où se trouvent : une grande salle de spectacle entièrement modulable de 500 m2, une petite salle de 130 m2 pour les conférences, des salles spécialement prévues pour les cours de cuisine, d’ikebana, de calligraphie ou de go, une grande salle d’exposition, une bibliothèque, une boutique et un pavillon de thé en bois pour la cérémonie des thés.