La fortaleza defensiva se sitúa sobre una imponente peña a 872 metros sobre el nivel del mar, a cuya falda surgió la localidad de Peñausende. La herencia oral de la zona ubica en esta peña, fortaleza natural, el enclave de Viriato, así como se cuentan las leyendas del importante papel que jugó esta zona durante la Reconquista. Esto se demuestra con el esplendor que comenzó a partir de la Batalla de Simancas (año 939), momento en el que quedó asegurado el control cristiano del valle del Duero y del Tormes, época en la que las peculiares características geográficas de Peñausende la convirtieron en una de las principales reductos defensivos para la repoblación de la zona. La bibliografía existente, confirma que esta población fue cedida en el siglo XII a los caballeros de la Orden de Santiago por el rey de León, Fernando II, con las tierras comprendidas entre Ledesma y Castrotorafe, para su protección. Así se convirtió su castillo en la residencia del comendador de Peñausende. Del castillo existe una descripción del año 1528, que fue efectuada por una delegación de visitadores santiaguistas
Actualmente sólo se conservan varios metros de lienzo de muralla defensiva, la base de alguno de los cubos o torreones desde los que se diversificaba el ángulo de defensa y una cavidad cuyo uso podría haber sido el de aljibe o mazmorra. La observación desde la cima, hacer intuir al visitante la existencia de restos de una segunda muralla defensiva, diluida entre la maraña de paredes –muros secos- que delimitan las fincas privadas adyacentes, estas últimas denominadas cortinas y cortinos por los peñausendinos. La zona posee un potencial valor arqueológico según demuestran los restos encontrados hasta la fecha: un hacha votiva de sílex opalizado, azuela de cuarcita, monedas, puñal medieval y diminuta romana en hierro para pesar oro.
BIC
Abandonado y en ruina progresiva con acumulación vegetación.
Pérdida del edificio ayudada por el abandono del mismo y la acción de la vegetación, con desgaste continuado de sus muros por las inclemencias del tiempo.