Esta fortaleza se fundó en las proximidades de la antigua ciudad de Clunia, que guardaba la entrada a Castilla por estar situada en un promontorio desde el cual se controlaba el corredor del río Arandilla y su antigua calzada desde el sur y junto a dos puentes romanos. Tiene su origen en el siglo X cuando García I de León decidió repoblar el Valle del Duero.
Fue tomado por Almanzor, que realizó en él diversas obras, como una nueva torre principal a la que se encontraba adosado un lienzo de muralla con un arco califal, visible en grabados antiguos pero desaparecido en la actualidad. El caudillo musulmán dotó de una guarnición permanente a la fortaleza y la eligió como punto de partida para algunas de sus correrías contra los reinos cristianos.
Tras la definitiva conquista cristiana sufre nuevas reformas que le confieren su aspecto final, hasta que el avance de la Reconquista hacia el sur provoca que su función defensiva termine siendo superflua. Con los años se abandona y avanza su estado de ruina, ya que al igual que la vecina Clunia se convierte en cantera de piedra labrada.
Consta de un cuerpo alargado que ocupa la mitad norte del cerro. Se asegura que en su cima hubo un castillo más antiguo. Una barbacana, en muy mal estado, defendió los cuatro lados. En los flancos se construyó siguiendo la media altura del montículo, pero en los lados menores además de ser más robusta se completó con un profundo foso.
El cuerpo principal ocupa la cima con unas dimensiones cercanas a los 22 metros de ancho por más del doble de largo. Los extremos menores, están reforzados con torres. Los del sur son dos fortísimos cubos huecos defendidos por saeteras muy rasgadas y alguna tronera. Junto al cubo del norte se halló la entrada del castillo. En el lienzo de este lado se notan diferentes adaptaciones. Desde el patio un pozo comunicaba con el Arandilla.
Las torres del norte son posiblemente las más antiguas, entre otras cosas porque solo en sus lienzos y en los paramentos adyacentes se aprovecharon los sillares procedentes de Clunia. Pudieron ser el centro del primitivo castillo. Parece claro que ambas fueron levantadas en fechas distintas, pues además de diferentes en técnica y tamaño resultan claramente asimétricas. Se mantiene en pie únicamente la mitad de cada una de ellas. La mayor, conserva algunas almenas en la vertical de los lienzos. Ambas torres tuvieron cubierta de terraza, como puede comprobarse desde el interior. En las dos predomina el sillarejo.
En el resto del castillo la calidad de los materiales es muy variada. Los muros tienen en su interior relleno de cal, canto y tierra. En algunos puntos pueden verse grandes bloques con inscripciones romanas.
A mediados del s. XVII debieron de hacerse algunos reparos, pues los maestros de carpintería Martín de Yllana y Francisco de la Llana “tasaron el menos cabo que tenía el castillo”. A fines del mismo siglo el delegado del conde “se paseó por la casa y castillo abrió y cerró las puertas y hechó dellos a las personas que dentro estaban y hizo otros actos de posesión”, lo que posiblemente presupone una buena conservación.
BIC - Bien de interés cultural BIC Declaración genérica 22 de abril de 1949
Hoy se halla completamente en ruinas. Comparando los dibujos de Isidoro Gil Gavilondo con los restos actuales puede comprobarse el avance destructor debido, en parte, al aprovechamiento de la piedra para construcciones campesinas.
Estado de completa ruina. En el año 1959 el ayuntamiento habilitó una parte del castillo para frontón, constituyendo un buen centro deportivo para los jóvenes. Se ha consolidado como se ha podido para evitar que se venga abajo, pero con bloques de hormigón que no cumplen ningún criterio.