Se asienta sobre una elevado y escarpado cerro en la parte noroeste de la villa. Domina todo el territorio desde una altura que siempre le supuso una ventaja frente al enemigo. El castillo de Huelma que hoy vemos es un castillo castellano de finales del s. XV, dotado con todos los adelantos de su época. Tiene una planta casi cuadrangular (13,95 x11,40 m) con tres torres cilíndricas, para no ofrecer bordes a la artillería y troneras horizontales o de buzón para albergar cañones. Las dos torres de la fachada principal, orientada al sureste, son huecas con fines defensivos y cuentan con saeteras dobles. A los pies del castillo se formaría la villa de Huelma y, rodeándolo todo, los restos de la muralla con sus torreones, protegiendo a sus habitantes.
Su origen está en una torre almohade construida en el s. XII, de la que aún quedan restos en su interior en la forma de un aljibe, construido con argamasa, piedra y ladrillos árabes. A consecuencia de la batalla de las Navas de Tolosa esta torre dió paso en el S.XIII a un “Hisn” o castillo rural cuya finalidad era dar protección, en tiempos de guerra, a la población y el ganado, así como controlar y vigilar los caminos.
Tras todo un periodo de intentar conquistar el castillo por parte de las tropas cristianas, el 20 de marzo de 1438 don Iñigo López de Mendoza, I marqués de Santillana, consiguió para Juan II la plaza de Huelma. Logró mantenerla a pesar de que Baeza la reclamara alegando que Fernando III, en 1243, les había otorgado la concesión de la misma, una vez fuera conquistada.
En 1462 don Beltrán de la Cueva, conde de Ledesma, casa con Mencía de Mendoza, hija del II marqués de Santillana, don Diego Hurtado de Mendoza y recibe como dote la villa de Huelma, que pasa a ser señorío en 1464. Don Beltrán pide al rey Enrique IV ceda esta posesión a su padre don Diego de la Cueva, quien será, además, nombrado vizconde de Huelma. A la muerte de don Diego, en 1472, la posesión volvió don Beltrán, quien en 1474 recibe el título de conde de Huelma y duque de Alburquerque, debiendo a este título su nombre el castillo.
Durante la invasión napoleónica el general Sebastiani ordenó quemar el castillo en su retirada, pues había sido utilizado como centro de operaciones. A lo largo del s. XIX el castillo fue olvidado y dejado a su suerte sufriendo un fuerte expolio tras el fuego.
El castillo permaneció en manos privadas hasta el 23 de abril de 1988, cuando su propietario, don Bernardo Moreno Quesada, lo dona al pueblo de Huelma durante los actos del 550 Aniversario de la Toma de Huelma.
Durante los últimos años una mayor conciencia de nuestra historia ha hecho que nuestros representantes restauren y mejoren nuestro patrimonio artístico. Con las actuaciones que se están llevando a cabo en el castillo se le está devolviendo toda la dignidad que en su día tuvo y que nunca debió perder.