La Confraternita della Santa Carità iniziò a costruire, verso la metà del XVIII secolo, una nuova sede dell'ospizio, proprio in un periodo, quello dell'Illuminismo, in cui la preoccupazione di offrire alla popolazione più svantaggiata dei centri sanitari dotati delle migliori condizioni, era grande.
Questo edificio di grandi dimensioni, fu terminato nel 1763 da Torcuato Cayón, mescolando i modelli dell'ultimo barocco gaditano ai nuovi canoni accademici.