El castillo de Casarrubios del Monte fue construido en el siglo XIV por Don Alfonso Fernández Coronel, que por entonces era señor de la villa, o tal vez por Don Diego Gómez de Toledo, notario mayor de Castilla.
Tras Marina de Córdoba, Doña Juana Enríquez, reina de Aragón, fue la Señora de Casarrubios. Cedió el castillo a Enrique IV, quien a su vez lo dono al Almirante castellano. Pero enemistado con éste, en 1467 se lo entrego a su hermana Doña Isabel la Católica con la condición de que no lo enajenara. Sin embargo Doña Isabel se lo devolvió al Almirante con la confirmación del príncipe-rey Don Alfonso. Esto irrito al rey, y el 24 de noviembre de 1468 lo donó al comendador de Montiel Gonzalo Chacón, futuro secretario real. Año y medio después el rey lo entregaba al futuro conde de Fuensalida.
Muerto Enrique IV, el rey católico Don Fernando, como heredero de su madre la reina de Aragón, devolvía Casarrubios a don Gonzalo Chacón en noviembre de 1475. Don Gonzalo formó un mayorazgo con la villa y su fortaleza y en 1599 Felipe III creó el condado de Casarrubios, que heredó el conde de Miranda y duque de Peñaranda. Tras él, a principios del XIX era su señor Don Cipriano Portocarrero, conde de Montijo, luego su hija Doña María Francisca, y después su hijo, el duque de Alba. En 1899 un vecino de Casarrubios compró el castillo y palacio condal.
Se trata de un bonito castillo, rodeado de foso, con muros construidos a base de sillarejo revestido de ladrillo, lo que le confiere un carácter ornamental muy peculiar. El castillo de Casarrubios del Monte se construyó al exterior de una muralla, hoy desaparecida, que defendía el poblado. Su planta es rectangular, y posee grandes torres hexagonales en tres de sus esquinas. La cuarta esquina está ocupada por la torre del homenaje, interiormente abovedada, de planta cuadrada y que posee pequeñas torres hexagonales en tres de sus ángulos, curiosamente del mismo modo que la planta del castillo.
Sobre la puerta de entrada, de arco gótico apuntado, se encuentran los escudos de los Reyes Católicos y de Gonzalo Chacón. En el interior puede verse una sucesión de arcos y bóvedas de ladrillo.
En el patio central se alza la torre del homenaje
BIC
En 2011 se inició la restauración con presupuesto de 121.000 euros, financiados por el Consistorio y la Junta de Comunidades de Castilla-La Mancha. En este momento, el castillo se retiró de la Lista Roja. Se restauró una torre y posteriormente las obras quedaron paralizadas durante tres años, por lo que se volvió a incluir en la Lista.
Se encuentra abandonado y en estado ruinoso, habiendo sido usado como almacén agrícola. Ruina progresiva. Se le han practicado diversos taladros junto a las torres, no se sabe con qué finalidad.
Degradación progresiva.