Hay referencias concretas a que ya estaba construido en 859, en la época del conde Teodomiro, cuando los normandos lo atacaron y consiguieron tomarlo. Durante la Guerra de Sucesión, una gran explosión provocada por la caída de un rayo sobre el polvorín destruyó la mayor parte del castillo, ordenándose su demolición por considerarse irrecuperable. El terremoto de 1829 también causó graves daños.
Fue construido en siete círculos, estando reservado el superior para los altos cargos militares. Actualmente se pueden ver aún grandes tramos de sus murallas, así como restos de algunas torres. También pueden distinguirse los distintos elementos incorporados en sucesivas épocas.
BIC - Declaración de Ruinas Históricas en 1931. Protección integral por el Plan Especial de Protección del Casco Histórico
La degradación de los restos del Castillo y del recinto amurallado ha ido en aumento, las inclemencias meteorológicas, el paso del tiempo o la acción del hombre han contribuido a que estas ruinas se encuentren en un estado muy alarmante.