La casa palacio del Almirante de Aragón fue mandada construir por Leonor Manrique en el siglo XVI. No obstante, toma su nombre del almirante de Aragón, Francisco de Mendoza, quien también la habitó. Se trata de un adecuado ejemplo de arquitectura señorial cristiana implantada tras la conquista en el barrio de la Alcazaba Cadima.

En 1874 se fundó el asilo de San José por orden del arzobispo Monzón cuyo fin era la educación de niños pobres. De este momento conserva en la fachada la inscripción «Hogar de San José». También son muestra de ello las ventanas arqueadas de las plantas altas, pues son resultado de la reforma que se llevó a cabo para adaptar el edificio a este uso.

Destaca especialmente su fachada. Compuesta a modo de torre, en ella sobresale su portada manierista: Está es adintelada, flanqueada por columnas jónicas acanaladas sobre pedestales que soportan un entablamento rematado con pináculos, estilo escurialense. Un zaguán de considerable tamaño cubierto con alfarje da acceso al patio porticado en sus cuatro lados con columnas corintias y toscanas de mármol y con techumbres mudéjares.

El interior ha sufrido transformaciones en los siglos XIX y XX. Actualmente es un patio diáfano cerrado con cristaleras.