El castillo de San Jorge se alzaba sobre la montaña meridional, a 854 metros de altitud, en la zona llamada «corrales de San Jorge». Sólo quedan vestigios de su extenso recinto, de planta irregular, y debió su nombre a la ermita de dicho santo que estaba cerca de la torre de la Espuela. Al pie del cerro estaba el distrito habitado por los judíos, por lo cual, aquél recibió también el nombre de castillo de la Judería.
   Existe un torreón cilíndrico, llamado el Muro del Palo o Redondo, del que sólo queda la parte inferior.
   La torre del Caballero de la Espuela o de Cariñena es la más hermosa de todo el recinto, favorecida por su emplazamiento en una cumbre muy destacada. Es de sillería, casi cuadrada, de 12,30 por 11,60, con puerta y ventanas semicirculares, y conserva su espectacular remate de matacanes unidos por arquitos semicirculares, pero su parapeto es recto, sin almenas. Interiormente se distribuye en dos cámaras superpuestas, abovedadas en medio cañón. En 1809, los cañones franceses la partieron en dos, de arriba abajo.
   A mitad de la ladera se yergue otra elevada torre de sillería, llamada de las Cinco Esquinas por su planta pentagonal; ostenta huecos semicirculares, y ha perdido su remate.