La Cofradía de la Santa Caridad comenzó a construir, hacia mediados del siglo XVIII, un nuevo hogar para el hospicio, precisamente en un período, el de la Ilustración, en el que la preocupación por ofrecer a la población más desfavorecida centros de salud equipados con el las mejores condiciones, fue genial.
Este gran edificio fue terminado en 1763 por Torcuato Cayón, mezclando los modelos del último barroco gaditano con los nuevos cánones académicos.