Edificado sobre el huerto del Convento de la Victoria, se sitúa en la confluencia del Paseo de los Tristes con la Cuesta del Chapiz, sobre una plataforma elevada que presenta un gran muro coronado por unas arquerías. Del antiguo convento, erigido en 1493, en vida del fundador de la Orden de los Mínimos, San Francisco de Paula, nada queda y sus obras de arte fueron trasladadas a la Iglesia de San Pedro y San Pablo. El edificio fue proyectado por Miguel Castillo Moreno en 1937 para casa de la Caridad. Tras la Guerra Civil, se remodeló para convertirlo en Hogar infantil por obra de Francisco Roble Jiménez.

Presenta una planta en forma de cruz griega que articula diversos pabellones con los diferentes usos. Tiene tres plantas y el acabado es de ladrillo, no revocado, pero pintado de blanco. Mezcla connotaciones de marcado carácter historicista con elementos característicos de la arquitectura nazarí, y si bien en su conjunto no responde aparentemente a las tipologías tradicionales, no desentona con su entorno salvo por la fuerte presencia del cerramiento, consistente en un gran muro a modo de plataforma sobreelevada de grandes dimensiones, culminada mediante arcadas y malla metálica, que produce una excesiva volumetría de la edificación. Parte del edificio salva a la calle San Juan de los Reyes, abierta al tráfico en 1943, mediante un pasaje cubierto por bóveda de cañón. En los años 80, el edificio se ha ido ampliando con construcciones del mismo carácter que la edificación principal.