José Emilio Cuerva nos dio una visita guiada de parte de SOS Aurelio, un grupo de gente local que intentaba salvar este espectacular lugar de un mayor deterioro.
Ha habido un asentamiento desde la Edad del Bronce, con los romanos tomando el control alrededor del año 170 d.C.
En 1085 Alfonso VI tomó Toledo, y entre el botín se encontraba Oreja, un castillo estratégico con vistas al valle del río Tajo.
En 1108 los cristianos perdieron la batalla de Uclés y en 1113 el castillo volvió a estar bajo control musulmán.
Alfonso VII la recuperó el 31 de octubre de 1139 tras un largo asedio de 18 meses.
Tras la batalla de Alarcos en 1197, Alfonso VIII perdió ante los musulmanes, aunque no pudieron tomar Oreja, que en 1171 había sido cedida a la Orden de Santiago.
Una vez que dejó de ser útil militarmente, la mayoría de los habitantes se trasladaron a las cercanas Ontígola y Aranjuez.
Actualmente el castillo está en ruinas.
