Fue mandado edificar por D. Juan de Amaya El Viejo y su mujer Dª Beatriz de Villavicencio para enterramiento propio, en 1552.
En un principio fue destinado a frailes franciscanos de la Observancia. Poco antes del fallecimiento del fundador, después de ciertas diferencias entre éste y los frailes, el convento es abandonado por la primitiva comunidad franciscana.
En 1584, después del fallecimiento del fundador, se acuerda que el convento sea ocupado por monjas concepcionistas, religiosas franciscanas igualmente, si bien se decide que se someta a la jurisdicción del ordinario.
Hacia 1618 aparecen los primeros fallos en el muro del presbiterio del edificio como consecuencia del empuje de la bóveda de la capilla mayor por una falla en la cimentación del muro, sobre la muralla de la ciudad. El terremoto local de 1773 ocasiona graves daños a la iglesia: se cuartea la bóveda de la capilla mayor y se agrieta y amenaza ruina el muro del Evangelio.
Se construyen en la calle Judería cuatro arcos para soporte del muro y de la bóveda de la capilla mayor.
El convento fue clausurado en 1835. Por la ley de desamortización el edificio fue vendido en la década de 1870. En 1930 se derriba la bóveda de media naranja por el peligro de desplome, así como la espadaña que daba a la calle Ramón y Cajal.
El edificio adquirido por Pastora Castrillón por estas fechas, ha sido donado al pueblo de Vejer por Dª Luisa Castrillón Ortega, en 1996. Por estas fechas se lleva a cabo la restauración del edificio actual previa excavación arqueológica.
[Cadizpedia]