Encargó el diseño de los jardines al arquitecto Jean-Baptiste Mulot, proveniente de la corte francesa. La duquesa ordenó construir estanques, que conectaban el canal principal que recorre el parque con el salón de baile, que es donde se llevaban a cabo las fiestas que daba. Este edificio se levanta sobre un pequeño manantial (donde se puede observar la figura de un jabalí que permanece bajo un arco mirando hacia el riachuelo), del que se surtía de agua el resto del parque. Además, hizo plantar por todo el lugar miles de ejemplares de su flor favorita, la lila.
Durante la invasión francesa de 1808, el recinto fue ocupado por el general francés Agustín Belliard, quien parece ser que utilizó las instalaciones para sus tropas. Posteriormente, tras la retirada del ejército francés, el lugar volvió a manos de la duquesa, quien llevó a cabo una reforma del mismo. Se repoblaron arbustos, y se construyó el casino de baile o palacete mencionado (1815), obra de Martín López Aguado. También se levantaron columnas y relieves que se consideran representación de las cuatro estaciones, primavera, verano, otoño e invierno
En 1834, tras la muerte de la Duquesa de Osuna, la propiedad del recinto llegó a su nieto Pedro Alcántara, quien encarga, también a López Aguado, nuevas construcciones, como una zona de exedras en la Plaza de los Emperadores, dedicadas a su abuela, que como el resto, se encuentran rodeadas de abundante vegetación. Tras la muerte de Pedro Alcántara en 1844, es cedido a su hermano, quien lo descuida enormemente, acabando subastado 38 años después.
Durante la República fue declarado Jardín Histórico, aunque sin muchas consecuencias. Durante la Guerra Civil, se construyeron en el Jardín varios refugios antiaéreos subterráneos, en los que se concentraba el Estado Mayor del Ejército del Centro, mandado por el general Miaja, En los alrededores del palacio emergen restos de respiraderos de los refugios.
En 1943, fue declarado Jardín Artístico. Tras décadas de relativo abandono, en 1974 fue comprado por el Ayuntamiento de Madrid, y en 1985 fue declarado Bien de Interés Cultural. Un año más tarde comenzó una reforma que, en cierta medida, continúa actualmente. El recinto está siendo estudiado para acometer reformas y recuperación que permitan visitar y contemplar más zonas de este hermoso y curioso lugar
(Wikipedia)