En 1504, Francisco de Rivera construye una ermita en el lugar donde años antes apareció una imagen de la Virgen de las Angustias (actualmente venerada en la iglesia parroquial de Villatoro). Tras pasar sus últimos días allí, consigue autorización para fundar un convento de la orden de San Agustín (1530), con una construcción de estilo gótico tardío, pero con matices que asemejan al estilo herreriano.
En 1564 en monasterio se convierte en gran receptor de riqueza, tomando importancia en todo el territorio. A finales del siglo XVII, en su máximo esplendor, la iglesia fue renovada , en 1775 se levantó su magnífica torre y en 1791 se añadieron retablos neoclásicos a las naves del templo.
Durante la guerra de la independencia fue refugio de guerrilleros y saqueada, hasta que finalmente en 1835 se vio afectado por el decreto de exclaustración de conventos. La desamortización marca el abandono en el que se encuentra actualmente.
En la actualidad, podemos contemplar la magnifica torre de estilo herreriano y, hasta que quedó cubierto por la vegetación (no hace muchos años), se podían ver los restos del ábside de la iglesia gótica. Más alejadas de la iglesia están las ruinas de los demás edificios monacales, y también los restos del acueducto que suministraba agua al convento.
Sin protección específica
Ruinas. Actualmente sólo quedan en pie la torre del campanario (que no conserva las tejas de la cubierta), el arco de entrada de la antigua iglesia, parte del ábside (oculto por la vegetación) y restos de los muros de diferentes dependencias.
Desprendimiento de piedras de la cubierta de la torre. Derrumbe de las paredes que quedan en pie.