A la Hermandad de Santa Rita se le quiso dar un carácter más social y se fundó el Monte de Piedad de Santa Rita, el cuarto de España. Se convierte en la primera entidad «bancaria» de la ciudad cuyo fin era ayudar a personas desfavorecidas sin interés, sólo a cambio de limosnas. Documentos de archivo, confirman como en 1763, se hicieron préstamos a 15.000 personas. En 1765 el Monte de Piedad adquiere unas casas del siglo XVI junto al Darro para fijar aquí su sede donde permaneció hasta 1864, cuando un escándalo de estafa hizo que desapareciera.

La fachada, de gran desarrollo, es de estilo barroco. Está flanqueada por torres en las esquinas. Presenta tres portadas, la central rematada con escudo heráldico. Las laterales están labradas en piedra de Sierra Elvira. Una de ellas daba acceso a una capilla dedicada a Santa Rita ya desaparecida. La de la izquierda acoge una escultura de la Caridad y la de la derecha una de Santa Rita de Casia. El interior, muy transformado en el siglo XX, mantiene un interesante patio con columnas de piedra y una galería con arcos sobre columnas dóricas. Se ha conservado un pilar con el escudo de los Cabero, propietarios del inmueble en el siglo XVI.