Existence dès 1650 d'un domaine et manoir appartenant à François Thuret, écuyer, sire de la Tour et bourgeois de Paris.
Mention comme propriétaire, de 1690 à 1698, d'Antoine Benoist, peintre de Louis XIV et sculpteur sur cire.
Le château est acquis en 1698 par Philippe-Joseph Perrotin de Barmond, haut fonctionnaire parisien, qui élève de nouveaux bâtiments au début du XVIIIe siècle.
Il passe en 1746 à Michel-Antoine David, principal éditeur de la grande Encyclopédie.
Il passe ensuite à Louis-Balthazard de la Chevardière, musicien et le plus grand éditeur de musique de son temps, premier maire de Verrières en 1790.
Le château est vendu en 1815 par ses héritiers à Philippe-André Levêque de Vilmorin, propriétaire de la “Maison de graines Vilmorin-Andrieux” à Paris, pour y faire des essais sur les fleurs et légumes, accueillir la collection de pommes de terre de la Société centrale d’Agriculture et créer un arboretum.
Durant 150 ans, la maison Vilmorin-Andrieux agrandit l'exploitation et ses recherches lui acquièrent une renommée internationale.
Le parc a été classé Réserve naturelle en 1959.
Le domaine est partiellement inscrit à l'inventaire supplémentaire des monuments historiques le 8 septembre 1965.
La femme de lettres Louise de Vilmorin, qui y a souvent résidé et y est morte le 26 décembre 1969, est enterrée dans l’arboretum.
André Malraux a continué d'y vivre jusqu'à sa mort en 1976.