En 1776, el matrimonio morganático (con una persona de inferior rango) del infante con María Teresa de Vallabriga y las normas dictadas por su hermano Carlos III, supusieron que toda la familia debía vivir alejada de cualquier sitio real, lo que implicó que el infante y su esposa comenzasen un exilio. Primero viviendo en el palacio del Marqués de Villena, en Cadalso de los Vidrios; y luego en el Palacio de Velada (Ávila), propiedad de su amigo el Conde de Altamira.
En su retiro en Velada el infante don Luis tenía la intención de buscar un acomodo definitivo para su familia y en este sentido debió conocer Arenas de San Pedro, una zona de caza muy interesante con un clima, aguas y gentes que le debieron cautivar. Así, a finales de 1777, encontramos al infante y su familia en Arenas de San Pedro, ocupando inicialmente la casa solariega de los Duques de Frías (ducado recién incorporado al marquesado de Villena), casa que posteriormente compraría uno de los sirvientes del infante conocido como Diego Lleget.
Meses después, debió adquirir otra casa de mayores dimensiones en la calle Corredera, junto al arroyo Guisete, en su día colector de aguas fecales. El infante ofreció al municipio sufragar de su propio peculio un plan de saneamiento y alcantarillado del arroyo Guisete. Y mientras esto se ejecutaba, tuvo intención de comprar en el municipio de Mombeltrán (Ávila) la dehesa de Gata, ya que la actual residencia se quedaba pequeña para la gran cantidad de sirvientes y caballerizas que necesitaba la familia. Intención que finalmente no cristalizó, al parecer porque el municipio de Arenas de San Pedro le ofreció los terrenos de La Mosquera para la construcción del nuevo palacio.
A finales de 1779, encontramos los planos del nuevo palacio en Arenas de San Pedro,conocido como La Mosquera, firmados por los hermanos Ignacio (fachada) y Domingo Thomas (interior), arquitectos catalanes formados tanto en la Real Academia de Bellas Artes de San Fernando, como con su maestro Ventura Rodríguez, al igual que el aparejador de las obras, Alfonso Regalado Rodríguez, que anteriormente lo había sido en el palacio de Boadilla del Monte.
Los proyectos debieron realizarse bajo los auspicios del propio Ventura Rodríguez, que incluso llego a diseñar dos fuentes para los jardines. También el mobiliario y la decoración con molduras de algunas estancias interiores.
Las obras comenzaron en 1780 y no será hasta 1783 cuando encontremos al infante y su familia ocupando el ala derecha del palacio, momento en el que las obras debieron interrumpirse probablemente por problemas económicos. Hasta esa fecha se habían construido la mitad del palacio proyectado, los jardines y la casa de oficios para los sirvientes. Y así se mantiene inconcluso hasta hoy en día.
Así se constituyó la nueva corte del Infante don Luis tras abandonar su palacio de Boadilla del Monte, donde le siguieron buena parte de su larga lista de sirvientes entre los que se destacamos al músico y compositor Luigi Boccherini y su familia, que residió en Arenas de San Pedro entre 1778 y 1785, año en que falleció el infante. O la visita en 1783 y 1784 de Francisco de Goya, quien realizaría varios retratos a la familia del infante.
Incluso don Luis trasladaría a Arenas parte de las colecciones que componían su singular gabinete, si bien los animales naturalizados hubo de restituirlos a Boadilla porque el clima de Arenas influía negativamente en la conservación de las colecciones.
La residencia de la corte de un infante de España implicaba una considerable suerte de sirvientes y sus familias, lo cual suponía una importante inyección económica para la población.
El palacio inacabado de La Mosquera en Arenas de San Pedro sería la última morada del infante don Luis y su familia. Es el nexo de unión entre el municipio abulense y Boadilla del Monte. Por todo ello, el hermanamiento entre Arenas de San Pedro y Boadilla era inexcusable, con una parte de su historia en común, y que ahora comenzará una nueva andadura conjunta.