Swoją nazwę bierze od opowieści wywodzącej się z tradycji rzymskiej, dotyczącej męczeńskiej śmierci czterech chrześcijańskich rzeźbiarzy, którzy za cesarza Dioklecjana zostali skazani na śmierć za odmowę rzeźbienia pogańskich bożków.
Pierwotnie w tym miejscu stała bogata rezydencja magnacka późnego antyku i dopiero w V wieku papież Leon IV wzniósł na tych samych fundamentach potężną, trójnawową budowlę, w tak bogatej formie, że stała się jedną z najważniejszych bazylik karolińskiego Imperium Rzymu.
Niestety pożar, który wybuchł w mieście w roku 1084, doszczętnie zniszczył świątynię.
Przebudowana na mniejszą, na polecenie papieża Paschalisa II w XII wieku, wraz z przeniesieniem siedziby papieskiej do Awinionu, ponownie przestała działać, aż do 1564 roku, w którym to papież Pius IV przekształcił budowlę w sierociniec dla kobiet prowadzony przez Siostry Augustianki klauzurowe, zamieszkujące tam do dziś.