Se debe a un proyecto personal de José María del Palacio y Abárzuza, conde de las Almenas, en el que no intervino ningún arquitecto. Las obras fueron realizadas por maestros canteros de la zona y se extendieron desde 1920 hasta 1922. Durante la Guerra Civil española, el Canto del Pico fue sede del Mando Militar Republicano y sirvió de cuartel a Indalecio Prieto (1883-1962) y al General Miaja (1878-1958), quienes dirigieron desde allí la Batalla de Brunete.
Finalizada la contienda, su propietario, el conde de las Almenas, regaló la finca y el palacio a Francisco Franco Bahamonde (1892-1975), que lo utilizaba como refugio cuando los servicios de información del régimen alertaban sobre la posibilidad de algún atentado. También acudía a la finca como lugar de recreo, donde llegó a crear una granja de ovejas, gallinas y abejas, que cuidaba en colaboración con el guarda. Tras la muerte de Franco, la propiedad pasó a sus herederos. Su nieta, María del Mar Martínez-Bordiú, Merry, y el periodista Jimmy Giménez-Arnau, fijaron allí su residencia a finales de 1970, después de contraer matrimonio.
En las décadas de los 80 y 90, el palacio quedó en el abandono y fueron frecuentes los actos vandálicos.
El palacio está construido en estilo eclecticista, con predominio neogótico . Fue construido como casa-museo, para conservar la colección de piezas artísticas y arqueológicas del conde de Las Almenas, muchas de las cuales quedaron integradas dentro de la estructura.
La casa fue construida con elementos arquitectónicos recogidos de monumentos en ruina por toda la geografía española (columnas góticas del castillo de Curiel, puertas de las Salesas Reales de Madrid, artesonados del siglo XIV de Teruel, claustro de la casa del Abad del Monasterio de Santa María la Real de Valldigna,etc…), perfectamente integrados en un edificio de granito, dentro de una gran finca rústica con otras construcciones y extensos jardines (hoy también prácticamente perdidos), formando un raro ejemplo de villa a la italiana de un coleccionista de arte de principios del siglo XX.
BIC
El edificio sufre desde hace 30 años actos de vandalismo y robos por parte de intrusos, y el abandono por parte de sus propietarios. Tanto el edificio como la finca han sufrido a demás varios incendios en los últimos años, y una más que dudosa restauración de la cubierta, precisamente tras un incendio (El edificio estuvo tres años sin cubierta).
Expolio de la casi totalidad de elementos como esculturas, bajorrelieves, azulejos o rejas, además de numerosos destrozos en el interior del inmueble. Asimismo, el propietario ha retirado sin autorización varias de las piezas escultóricas.
Ruina progresiva por total abandono. Según informe realizado en abril de 2017 por la Dirección General de Patrimonio de la Comunidad de Madrid, el edificio se encuentra en malas condiciones de seguridad, estabilidad, salubridad, y ornato, califica como especialmente grave el riesgo de caída que presentan los aleros de madera de miradores y elementos salientes.
2019
Torrelodones quiere mediar entre la Comunidad y los propietarios del palacio del Canto del Pico para frenar su deterioro. Madrid Diario. 22 de agosto
Preocupación por el futuro de Canto del Pico tras el último incendio en la cubierta. Cope, 11 de julio
2017
El dueño del Canto del Pico tiene un mes para iniciar la restauración. El País, 28 de mayo
Canto del Pico, el palacio maldito de los Franco. El Confidencial, 9 de marzo
2014
El Canto del Pico, el palacio «fantasma» que domina la carretera de La Coruña. ABC, 21 de noviembre