Repartidas las tierras entre las huestes conquistadoras tras la Reconquista, y acogiendo los núcleos de población a labradores y jornaleros, se antepuso al nombre de las tres aldeas que en esta zona se ubicaron, la palabra Torre, en referencia al inmueble del que supuestamente surgieron. La más cercana a Cáceres, la aldea de Torre de Aolgaz, o Torre de Argaz, más tarde conocida como Torreorgaz, en cuyo flanco suroccidental se encuentra sobre una suave colina y sencillos berruecos, una torre construida con sillares graníticos regulares, reutilizada por la familia de los Ulloa o mandada construir directamente por éstos, tras haber adquirido este linaje, de gran peso en la vida y política de la otrora villa cacereña en los últimos siglos del medievo, la aldea en sí, formando D. Diego García de Ulloa el Señorío de Torreorgaz a finales del siglo XV.
Junto a la torre, de tres plantas más terraza, se edificaron una serie de dependencias a base de mampostería con sillares en esquinas y portadas, cuyos muros destacan al confrontarse frente al limpio sillar de la atalaya, lo cual permite pensar a la mayoría de los estudiosos que si bien la torre no es musulmana, pudo erigirse en el siglo XIII siendo adquirida después por los Ulloa en el XV, dando lugar al castillo que hoy conocemos tras la unión de torre y casa fuerte adyacente. Esta pequeña fortaleza formaría parte del grupo de fortificaciones y palacios amurallados erigidos al sur de Cáceres, dominando las fincas, dehesas y cotos en que se dividieron estos terrenos meridionales, repartidos entre la nobleza local, destacando ésta, junto a la de Zamarrillas o la Torrecilla de Lagartera entre aquéllas levantadas junto a la vega del río Salor. Años más tarde, y en honor a Don Gonzalo de Ulloa y Carvajal, IV Señor de Torreorgaz, más conocido como el Cachorro, se nombraría con tal apodo tanto al castillo como a la dehesa sobre la que se asienta el mismo, tal y como se sigue denominando hoy en día.
El castillo y la dehesa fueron dejados en arriendo a finales del siglo XVIII, hasta caer finalmente el inmueble en ruina, utilizado hoy en día como cuadra y lugar de refugio de ganadería.
El acceso al torreón, hoy tapiado, quedaría en el flanco occidental de la torre, elevado a cierta distancia del suelo. El resto de dependencias de la casa fuerte conformarían una unidad cuadrangular rondando un patio central, manteniéndose la torre en la esquina suroriental del castillo, destacando entre las paredes de mampostería del resto de dependencias las ménsulas corridas que sobreviven en la zona noroccidental, como parte de un antiguo balcón que contrastaría con los escasos vanos y aspilleras del recinto.
BIC
Monumento en semirruina, se han acondicionado la totalidad de las dependencias que sobreviven de aquellas con que contó la casa-fuerte para el refugio del ganado, techándose con chapa las habitaciones, perdida su techumbre original y parte superior de algunos de sus muros; el acceso a la torre se ha tapiado, quedando su interior a merced de las aves que pueden acceder al mismo a través de los vanos que se conservan en sus flancos, habiendo desaparecido gran parte de su almenado y matacán (según tradición oral, por actos vandálicos acometidos varias décadas atrás).
Deterioro y posible desaparición paulatina de las diversas dependencias de que constan los restos de la casa-fuerte, a través de las inclemencias del tiempo y su uso agroganadero; deterioro y posible desaparición paulatina de la torre, a través de las inclemencias del tiempo y la acción de la fauna avícola autóctona.