En 1264, tras una revuelta, los restantes habitantes árabes fueron expulsados.
En el siglo XV la poderosa familia Ponce de León se hizo con el castillo, cuya importancia disminuyó con la conquista de Granada por los Reyes Católicos.
El castillo fue afectado por el gran terremoto de 1755, que destruyó Lisboa.
Entre 1809 y 1811 el castillo fue ocupado por tropas francesas durante la Guerra Napoleónica. Desde el castillo controlaban la actividad guerrillera en las montañas de Ronda.
Como regalo de despedida, volaron parte del castillo.
En 1922 el castillo fue subastado como ruina y Violeta Buck, hija del enólogo británico Walter J. Buck (1843-1917), lo compró.
Buck dirigía las destilerías Sandeman & Buck y fue pionero en la protección de espacios naturales como Doñana.
Violeta se mudó y comenzó la restauración del castillo.
