Situado sobre un cortado del río Escalote y con origen en la Edad de Hierro, se comienza a tener noticias de este enclave en el S. X, en el que los árabes destruyen y fortifican de nuevo esta plaza. Adquiere gran importancia durante los siglos X y XI por formar parte de la línea defensiva del Duero junto con Gormaz, San Esteban de Gormaz y Osma. Así pasa sucesivamente a manos cristianas y musulmanas, hasta que se retrasa la línea fronteriza a Toledo en 1085, año en que Alfonso VI toma esta ciudad, aunque se sigue manteniendo el control sobre el enclave musulmán de Medinaceli.
Siendo varias veces disputada por los señores cristianos, es en el S. XIV cuando pasa a manos de la familia Tovar, que levanta el castillo del S. XV sobre el original, del que no quedan restos. Posteriormente, entroncados los Tovar con la familia Velasco y con el rango de marquesado otorgado por Carlos I, se reconstruye el castillo en el S. XVI, conservando sólo algunos lienzos, un aljibe y la torre del homenaje de la anterior construcción del S.XV. La torre del homenaje es de planta rectangular, con garitones en cada esquina y en el centro de cada lado, y tiene los escudos de los Tovar y Velasco. Se conserva una poterna que da directamente al tajo del río Escalote, en la cara norte del castillo.
El nuevo castillo de inspiración artillera, construido e inacabado por Benedetto de Rávenna según varios autores, y que rodea a la antigua fortificación, forma un rectángulo de gruesos y bajos lienzos con tambores en cada esquina, estando el de noroeste separado del cuerpo del castillo por un pasillo, sin llegar a tener funciones de torre albarrana, sino más bien para mejorar los ángulos de tiro de la artillería. Todo el cerro está rodeado por una muralla de tambores y lienzos.
La construcción de un palacio en la explanada sur del castillo hace que se abandone, dedicándose a su nueva utilidad defensiva y como cárcel, hasta que un incendio lo arruina. El palacio junto con sus jardines desaparecerá, salvo su fachada sur, incendiado por los franceses en su retirada durante la guerra de independencia.