El edificio fue propiedad del emperador Carlos I, quien lo vendió a Arias Pardo de Saavedra, Mariscal de Castilla, por la tentadora suma de 42 cuentos y 24.572 maravedíes, junto con un estipendio de 3.000 y, inevitablemente, 7 ovejas al año.
Las cuatro torres se añadieron en 1697.
El dictador español Francisco Franco lo empleó brevemente como residencia a finales de los años treinta.
