Guillaume d’Ambleville était en 1160 le seigneur d’Ambleville et en 1181. Il fit une donation du Vaumion à Saint Jean de Jérusalem. Par mariage avec une des Essarts, le château passe à la famille de Mornay qui va le conserver jusqu’au début du XVIIIème siècle. Puis aux Marolles en 1711 puis le domaine est acquis par Antoine Labbé, ancien professeur de danse des filles du Roi d’Angleterre. Revendu trois fois, il est acheté et restauré en 1893 par Charles Sedelmeyer, grand marchand de tableaux. En 1928, après la mort de Sedelmeyer, il est acheté par la marquise de Villefranche et passera par héritage à sa petite fille Stéphanie. Lors de son décès il a été repris par une famille qui s’attache à sa restauration depuis.