Il luogo, fino al 1452, era
uno scoglio posto in fondo al suggestivo fiordo detto Bocche di Cattaro,
attualmente parte della Repubblica del Montenegro, ma sino alla fine del 1700
sotto dominazione veneziana. Per questo motivo la popolazione è cattolica. Si narra che in
quell'anno su tale scoglio venne ritrovata un'immagine mariana. Erigervi una chiesa non era possibile e
allora attorno allo scoglio si creò un'isola artificiale a forma di scalpello
(da cui il nome); su di essa vennero eretti la chiesa e il piccolo
convento. La chiesa attuale fu
costruita a più riprese dal 1630 al 1725.
All'interno fu riccamente decorata da artisti italiani e locali, ma di
formazione italiana. La popolazione rivierasca
delle Bocche di Cattaro, soprattutto nella loro secolare lotta contro i turchi,
si è sempre affidata alla protezione della Madonna dello scalpello e a
testimonianza della gratitudine dei locali rimangono oltre duemilacinquecento
ex voto, soprattutto marinari: fra di essi quello di un antenato di san
Leopoldo Mandic, nativo della vicina Castelnuovo e molto legato al santuario.
Ancora adesso viene celebrata con grande solennità la festa del 22 luglio
(anniversario del rinvenimento); il momento più suggestivo è dato da una
processione di barche lungo il fiordo.