Junto a la Parroquia del Rosario, se encuentra el Oratorio de la Santa Cueva, que perteneció a la Congregación del Retiro Espiritual, fundada en Cádiz hacia 1730. Entre sus miembros, se encontraban los personajes más eminentes de la sociedad gaditana del siglo XVIII. Uno de ellos, el marqués de Valde-Iñigo, utilizó gran parte de la fortuna familiar, derivada del comercio con México, en la construcción del actual oratorio.