El castillo de Rivadeneyra se encuentra a las afueras del despoblado de Caudilla. Fue construido a finales del siglo XV por Don Pedro de Rivadeneira, mariscal de Castilla. En tiempos de Juan II la fotaleza permaneció fiel al rey, enfrentándose a las huestes de Don Álvaro de Luna. Más tarde, Enrique IV partió de este castillo con cien caballeros para someter la ciudad de Toledo, que era partidaria del infante don Alfonso en el contexto del enfrentamiento de ambos hermanos por el trono de Castilla.
Se trata de un pequeño castillo de carácter más palaciego que militar, correspondiente al último período feudal. Su estructura es cuadrangular, con foso. La torre del homenaje tenía tres plantas, con ventanas en los dos pisos centrales y el escudo de los Rivadeneira (cruz con cinco conchas sobre ondas), hoy irreconocible, en la última de ellas. Tenía matacanes, sus esquinas eran redondas y presentaban garitones.
BIC
Actualmente solo quedan en pie una pequeña torre circular, una imagen de Cristo y parte de la derruida torre del homenaje. La parte de la fachada se vino abajo a causa de los fuertes vientos que en 1999 azotaron la zona durante algunas semanas.
Hundimientos, derrumbe total del complejo.