A finales del siglo XIV, el rey Juan I de Castilla la utilizó como prisión durante 8 años para el príncipe Alfonso, hasta que el primero murió prematuramente, como un buen rey, al caer de su caballo.
En 1809, durante la Guerra de la Independencia, tuvo lugar en las cercanías una batalla entre los españoles del general Venegas y las fuerzas francesas lideradas por Sébastiani y José Bonaparte, hermano de Napoleón. Como resultado, el castillo fue tomado por los franceses y parcialmente destruido.