Le nom de cette propriété vient probablement de la proximité d'une chapelle dédiée à la Vierge, qui se situait à l'entrée de l'allée menant à Grosbois. Aujourd'hui disparue, elle est désormais évoquée par la présence d'une petite statue de la Vierge. Le corps principal du bâtiment date de la première moitié du XVIIe siècle, tandis que l'aile latérale en retour d'équerre lui sera ajoutée au début du XVIIIe siècle. Nombre de légendes courrent au sujet de cette magnifique maison comme celle selon laquelle elle aurait été à l'origine un galant rendez-vous de chasse, édifié par Henri IV pour accueillir ses conquêtes. Fin XVIIIe siècle, la demeure aurait peut-être du servir d'étape à Marie-Antoinette, si les projets d'évasion planifiés par le baron de Batz avaient été suivis d'effet. Achetée en 1813 par le maréchal Berthier, elle est annexée au domaine de Grosbois. Après la mort de Berthier, la demeure prend un temps le surnom de ' pavillon Max ' : le très jeune Maximillien Joseph (1821-1864), neveu de la veuve du Maréchal et futur roi de Bavière, s'y sent plus à l'aise qu'au château, et y demeurera de 1824 à 1828.