Bajo la advocación de San José, fue fundado el 3 de Mayo de 1595 por la madre Catalina de San Francisco, sobrina del Padre Nicolás De Oria y heredera de su espíritu. Contribuyó a la fundación la madre Luisa de la Cruz (Luisa de Padilla, Condesa de Santa Gadea).
Viven con toda intensidad el carisma teresiano en su vida regular y a ellas se deberá la fundación de Padres en Talavera.
Tuvieron que abandonar el convento durante la francesada de 1808 a 1817. Y de nuevo durante la guerra civil española en Julio de 1936 hasta la liberación que se hacen cargo del convento las pocas que estaban en zona nacional. Acabada la guerra se puso la clausura y nuevamente se emprendió la vida regular en 1942.
En el interior se conserva un extraordinario retablo barroco y dos esculturas de Juan Pascual de Mena (siglo XVIII), un San José con el Niño y una de Santa Teresa en actitud mística. Sobre el coro pueden apreciarse unas pinturas del siglo XVII.
También es meritorio el púlpito labrado en madera. Este convento conserva en un relicario una carta autógrafa de Santa Teresa de Jesús.