Se trata de una población fortificada de planta circular que contó con una sólida muralla y una torre mayor central. La fundación del municipio por los árabes y la permanencia de los moriscos hasta su expulsión, en 1609, han permitido que el casco urbano de Torralba del Pinar siga manteniendo un clarísimo aspecto musulmán. Conocemos el primer documento que alude a Torralba: la carta de los Términos de Daroca (1142). También se conserva el firmado por el monarca musulmán Zayd Abu Zayd, en el que se compromete a ceder sus territorios a Jaime I de Aragón y a convertirse al cristianismo. Por otra parte, en la catedral de Valencia se conserva el testamento del hijo de Abú Zayd, Fernando, en el que lega a varias herederas el castillo de Villahaleva.
Aún se pueden apreciar restos arquitectónicos del amurallamiento medieval (siglos IX y XIII), confundidos con el caserío existente, salvo algún tramo con aspilleras que sí se encuentra visible. La torre, según tradición del lugar, fue desmontada y sus sillares utilizados en la construcción de la nueva iglesia a finales del siglo XVII. Cabe destacar también el castillo de origen árabe, probablemente construido entre el s. X y el s. XII con el fin de controlar los caminos más frecuentados del valle de Mijares, y del que se aprecian diversos restos de murallas fundidas con las paredes rocosas que circundan la colina sobre la que se edificó.
BIC - Con categoría de Monumento por la Disposición Adicional Primera de la Ley 4/1998, de 11 de junio, del Patrimonio Cultural Valenciano.
Parte de las murallas han sido demolidas, bien por el levantamiento de la iglesia nueva en el siglo XVII, bien por el derribo reciente de algunas viviendas apoyadas en aquellas.
Abandono y destrucción por el derribo de las viviendas anexas.