El origen se sitúa entre el siglo XII o XIII, para proteger el puente en la ruta Avila - Ciudad Rodrigo. En 1393 Enrique III concede a Gil González Dávila el señorío del Puente del Congosto, el cual, lo reconstruye y perdura en la actualidad.
En 1485 nace Don Pedro de la Gasca, Tataranieto de Don Gil González Dávila, a quién el emperador Carlos V encomendó sofocar la rebelión de Pizarro en Perú.
En 1497, a la reina Isabel la Católica hallándose en este castillo, le comunicaron el fallecimiento de su hijo, el Príncipe de Asturias.
El emperador Carlos V se alojó también en el castillo camino de su retiro en Yuste.
El castillo y la villa pasaron a manos de los duques de Alba, en 1809 las tropas francesas lo ocuparon durante 2 años.
Su planta, demarcada por la muralla perimetral, es de un hexágono irregular. Puede recorrerse, en su parte alta, en su práctica totalidad, por un camino de ronda. La entrada actual al recinto da acceso directo a un espacioso patio de armas al aire libre, parcialmente solado con lanchas de granito.
Actualmente es una propiedad privada.
[Wikipedia]