Situado sobre una colina próxima a Pola de Allande, fue edificado sobre un antiguo castro. Perteneció al linaje de los Ponce, después a los condes de Luna y, desde 1515 hasta el siglo pasado, a los Cienfuegos. Fue reedificado hacia 1520 por Rodrigo González de Cienfuegos, señor de Allande, sobre la base de un primitivo edificio del siglo XIV. Después sufrió diversas remodelaciones, por lo que sólo se conserva de época la parte baja. En el siglo XVIII fue reformado para adaptarlo a residencia palaciega del conde de Peñalba.
Enorme caserón con apariencia de castillo cuya parte más antigua se remonta al siglo XIV. Reedificado en el s. XVI, con un aspecto exterior muy sobrio por su carácter defensivo. Nuevamente reformado en el siglo XVIII por el conde de Peñalba, el aspecto desornamentado sólo se atenúa en el patio rectangular y sin pórticos, en cuyos ángulos se adosa al primer piso una galería corrida de madera, apoyada en gruesa y tosca columna de mampostería.
El palacio tiene planta en forma de L y está jalonado por tres sólidas torres no almenadas que imprimen monumentalidad al edificio. De las tres torres las dos más antiguas son de planta cuadrada, siendo la más moderna de planta rectangular. A esta última torre por ser la más adecuada a vivienda se le añadió una galería en el S. XIX. Se componía de oratorio, sala, antesala, salón, dos corredores, veintitrés dormitorios, cocina, cuatro chimeneas, caballeriza, cinco establos y una muralla circundante.
BIC
Actualmente está en proceso de redacción un nuevo proyecto para rematar la actuación con la reparación de los dos lienzos restantes, la cubierta y un añadido del siglo XIX que le da acceso desde el patio.
En 2015 se reparó una escalera (s. XIX) fuera del edificio que da acceso peatonal al conjunto desde el camino que baja a la villa de La Puela. El acceso a través de ella era prácticamente imposible por la vegetación y había sufrido un derrumbe parcial.
En 2011 se llevó a cabo la reparación y consolidación de todo el lienzo meridional de la torre mayor y se renovó completamente la cubierta de la galería decimonónica que se sostiene en él.
En 2008 finalizó la rehabilitación y recuperación de las formas y colores originales de la galería adosada a la torre principal.
En 2006 se realizaron obras para solucionar los problemas estructurales del lienzo meridional y occidental de la torre.
Mediante las recientes intervenciones el edificio ha mejorado parcialmente y se ha frenado el deterioro.
Mejora progresiva.