Mal llamada del Duque del Infantado, es uno de los primeros edificios construidos por los cristianos tras la toma de la ciudad. La fecha señalada en el dintel es 1491. Fue la casa principal de Egas Páez de Espinosa, regidor perpetuo de la ciudad.
Responde al modelo de casa-palacio, heredera de las casas-torre medievales. Se encuentra muy mutilada aunque presenta interesantes elementos con una fachada de sillares muy maciza y pocos vanos, destacando en ella su decoración plateresca y la heráldica del propietario.
Sin protección específica
Al menos desde 1989 no se ha hecho ninguna intervención relevante. En junio de 2009 se han empezado obras en el palacio, ignorándose el alcance de éstas.
Cerrado y abandonado. Pésimo estado de conservación de la cubierta, que se hundió parcialmente en 2008. Estado ruinoso de la estructura por mutilaciones del edificio.
Ruina progresiva. Daños relacionados con su estado de abandono: humedades, hundimientos, filtraciones y deterioros materiales.