Dès 1973, sous le gouvernement de Georges Pompidou, répondant aux vœux de la Direction des Musées de France, était envisagée l'implantation dans la gare d'Orsay d'un musée où tous les arts de la seconde moitié du XXe siècle seraient confrontés, établissant ainsi un lien entre le musée du Louvre et les collections du musée national d'Art Moderne (centre Georges Pompidou). Menacée de démolition - on aurait construit à sa place un gigantesque hôtel -, la gare, longtemps jugée comme l'un des monstres du mauvais goût "fin de siècle", est sauvée au prix d'un crime contre l'architecture, la destruction des Halles de Baltard, en 1972, et l'émotion qu'elle suscite. Agréé par Georges Pompidou, le projet sera soutenu par les présidents de la République Valéry Giscard d'Estaing et François Mitterrand.