No se han encontrado referencias de su propietario original, aunque posiblemente sea alguno de los siguientes: la abadía de San Martín de Elines, la de Santa María de Aguilar o alguno de los linajes principales del valle, como los Villalobos, los Calderón, Hoyos o Rojas, sin descartar a la casa de Aguilar, que a principios del siglo XV, se asienta en Valderredible. Su construcción, a falta de documentacion, suele datarse en el siglo XVI o posteriores, en base a sus elementos arquitectónicos.
Entre los siglos XVI y XVIII, probablemente se añadieron las diferentes construcciones que se adosan a la torre: un cuerpo lineal de apenas una crujía, inmediatamente adosado a oeste, y un elemento más complejo que posee un patio – corralada interior al norte-; un acceso monumental se sitúa hacia el oeste, donde se encuentra el camino de acceso.
La torre de Cadalso es de planta cuadrada, aproximadamente 11,50 x 9,50 y 10 de altura, con muros de sillarejo, de 1 metro de grosor, sillería en vanos y esquinas y tejado a cuatro aguas. En la fachada sur, están la puerta de acceso principal y una ventana, ambas con arco de medio punto, y dos saeteras.
Llama la atención la forma de los vanos, la moldura que decora la cornisa, y la de los cuatro pináculos piramidales rematados en bola en las esquinas del tejado y de los que solo se conserva uno.
La fachada sur es la principal y posee puerta en arco de medio punto, de grandes dovelas; en el primer suelo se abre un hueco ojival centrado sobre la puerta, formado con dos dovelas; a la derecha se sitúa una aspillera de algo más de un metro de altura. Los frentes este y oeste poseen en el segundo y último suelo sendas ventanas ojivales centradas, también formadas con dos dovelas.
No se sabe si la torre tuvo en origen almenas. Actualmente su coronación aparece rematada por una moldura en pecho de paloma muy sobresaliente. En el esquinal suroeste aún se mantiene en pie un pináculo rematado en bola, de aspecto herreriano.
BIC
Las únicas registradas son las ampliaciones de los siglos XVI y XVII.
Abandonado, desprendimiento de cubiertas y colonizado por la naturaleza.
Ruina, amenaza de derrumbe.