El castillo es rico en leyendas. Cuando los cristianos la reconquistaron, observaron desde las murallas un águila que siempre aterrizó en el mismo lugar. Al excavar descubrieron la imagen de una Virgen, enterrada allí aparentemente por los cristianos durante la conquista árabe de la ciudad.
Otra historia habla de peces ciegos que se adaptaron y vivieron en las obras de agua subterráneas construidas por los siempre ocupados romanos.
La ciudad y el castillo toman sus nombres de una princesa morisca Aira, cuyo fantasma, según dicen, todavía vagabundea por el castillo y cuya voz todavía se puede escuchar allí.
Había sido prometida a un príncipe moro, pero en la verdadera tradición de West Side Story, se enamoró de un prisionero cristiano. Ayudándole a escapar al otro lado del río, fueron sorprendidos y asesinados por su prometido.
Habiendo traicionado a su padre de esta manera, la puerta por la que escapó fue llamada la Puerta de la Traición.
Ha habido prisioneros, y aunque ninguno era particularmente famoso, hoy podrían contar una buena historia.
Diego García de Padilla fue prisionero en el pozo, puesto allí por su cuñado el rey Pedro I de Castilla tras la batalla de Nájera en 1367. Allí monitoreaba los niveles de agua cuando caía la lluvia para ver si se ahogaba, mientras que en un almacén subterráneo de trigo, el Obispo Juan de Cardellac también pagaba el precio por oponerse a Pedro (alias Pedro el Cruel), y no fue liberado hasta que ya estaba loco.
El castillo también tiene una leyenda de un dragón, una criatura nacida de un huevo debajo del castillo, donde vivió con su amigo/maestro Yacub hasta que salvó la vida del sultán quemando a cenizas a un grupo de guerreros renegados que lo atacaron.