La mairie de Viroflay est située dans un pavillon en bois et pierre meulière, surnommé le « Grand Chalet ». Complétant initialement les installations du Haras de Viroflay, le Duc de Morny (demi-frère de Napoléon III et Ministre de l’Intérieur) qui se passionne pour les chevaux, transforme en 1855 le bâtiment en résidence.

La demeure est élevée dans le style d’une isba (maison russe traditionnelle, aux parements de bois chantournés), en hommage aux origines de son épouse (la Princesse Sophie Troubetzkoï). À la mort de son mari en 1865, la Duchesse vend les terres du haras au Baron Malouët et une partie des 140 chevaux à la société hippique de Chantilly. En 1916, les prés du Haras sont réquisitionnés pour recevoir les troupeaux des services de l’Armée.
En 1927, la municipalité acquiert le chalet afin d’y installer l’hôtel de Ville. Les travaux entrepris modifient peu l’habitation conçue par le Duc.