Le Musée d’Orsay se situe dans l’ancienne gare d’Orsay, construite à l’emplacement du Palais d’Orsay (édifié en 1838 et incendié en 1871 pendant la Commune de Paris, puis laissé à l’abandon).

À la veille de l’exposition universelle de 1900, l’État cède le terrain à la Compagnie des Chemins de fer d’Orléans qui veut construire une gare de terminus plus centrale que la gare d’Austerlitz, pour accueillir les visiteurs et les représentants étrangers de l’exposition universelle.
L’architecte Victor Laloux est choisi en 1898 pour intégrer la gare et son hôtel à son environnement prestigieux : il masque notamment les structures métalliques extérieures, par une façade en pierre de style éclectique.

À partir de 1939, les quais étant devenus trop courts à cause de l’allongement des trains (dû à la forte fréquentation de voyageurs), la gare est utilisée successivement comme centre d’expédition de colis aux prisonniers pendant la guerre, puis comme centre d’accueil des prisonniers à la Libération et sert aussi de décor de films.

En 1973, la Direction des musées de France envisage l’implantation d’un musée dans la gare d’Orsay, où tous les arts de la seconde moitié du XIXe siècle seraient représentés.
Le bâtiment est classé au titre des monuments historiques en 1978 et l’Établissement public du musée d’Orsay est créé pour diriger la construction et la mise en œuvre du musée.
La transformation est réalisée par le groupe ACT-Architecture (M. Bardon, Colboc et Philippon) et l’aménagement intérieur sous la direction de l’architecte Gae Aulenti. Le 1er décembre 1986 est inauguré le nouveau musée : 4000 œuvres y sont présentées sur une surface de 57 400 m².