Site probable du manoir seigneurial de Thomas et Jean de Saint-Vrain au XIIIe siècle.
Possession de la famille de Karnazet de 1516 à 1641.
Possession de la famille des Levasseur de 1641 à 1719.
Possession du marquis Charles-Guillaume de Broglie de 1719 à 1735.
Possession d'Alexandre Leriche de la Pouplinière, richissime fermier général et mécène, de 1735 à 1747.
Le domaine est vendu en 1747 à Duval de l'Epinoy, marquis de Saint-Vrain jusqu’en 1769, qui y fait ériger un obélisque.
Il est acheté en 1775 par la comtesse du Barry, ancienne maîtresse de Louis XV qui veut le faire reconstruire sur des plans de Ledoux.
Elle le revend dès 1777 à Jacques-Alexandre de Gourlade, qui fait raser l'ancien château.
Le bail du fermier Mattard en 1788 précise qu’il doit fournir chaque année dix journées de voiture à trois chevaux pour transporter les matériaux nécessaires à la reconstruction de la ferme et du château.
Gourlade est emprisonné pendant la terreur et les travaux sont pas terminés à sa mort en 1803.
Ses héritiers vendent le château à Duval Dumanoir, baron d'Empire, grand chambellan de Napoléon et maire de Saint-Vrain, qui achève la construction et dessine un parc à l'anglaise.
Il revend le domaine en 1823 à monseigneur François Borghèse, prince Aldobrandini, dont la fille en 1832 Henri de Mortemart.
Leur fils François et leur petit-fils René opèrent de légères modifications au XIXe siècle.
Gabriel de Mortemer fait démolir l'aile arrière du château en 1949.
Charles-René de Mortemar réalise un parc zoologique en 1974.