La casa de las Chirimías fue construida en 1609 por el Ayuntamiento de Granada, en terrenos cedidos por los Señores de Castril. Se construyó como mirador para las chirimías y trompetas que animaban los espectáculos, las fiestas de toros y cañas que se celebraban en el Paseo de los Tristes.

A principios del siglo XIX, el edificio lo adquirieron las Monjas de la Magdalena (Agustinos Recoletos), que a su vez lo alquilaron. El edificio pasó entonces de ser una balconada de música a una vivienda, sufriendo alteraciones importantes. Quedó desfigurado y oculto y prácticamente inexistente para la mayoría de los granadinos. En 1982 el Ayuntamiento de Granada lleva a cabo la restauración y consolidación de los elementos estructurales y ornamentales, según el proyecto redactado por Francisco Javier Gallego Roca.

Este espacio-mirador en origen, se alza sobre planta cuadrada ocupando una pequeña parcela, construida en ladrillo y con tres pisos de altura, con el fin de albergar los días de fiesta al Cabildo de la Ciudad, que presidía y contemplaba desde sus ventanas y balcones los diversos festejos y celebraciones organizados en el paseo.

En la planta baja se instalaban los alguaciles y los ministriles (autoridades de menor rango). La primera planta se reservaba al alcalde de la ciudad y los Caballeros Veinticuatro, los regidores del Ayuntamiento. En la segunda planta se instalaban los músicos que, entre otros instrumentos, tocaban chirimías (instrumento de viento-madera precursor del oboe), de ahí el nombre del edificio. La composición de las fachadas es similar, huecos regulares dispuestos simétricamente alternando formas adinteladas y medio punto. La más destacada es la orientada al Paseo de los Tristes, en la que aparece el escudo con heráldica municipal, y dos altorrelieves con la granada, símbolo de la ciudad.