在奥古斯都皇帝（Augusto）时期，今天大殿所在的区域为郊区和住宅区。3世纪时，这里建起了一座皇宫。
当君士坦丁(Costantino )迁都到君士坦丁堡时，该区域仍属于他的母亲海伦（Elena）拥有。她决定将住宅的一部分变成一个小圣堂，以保存女皇本人在325年朝拜圣地时在加尔瓦略山（Monte Calvario）发现的十字架遗物。现今所见大殿就是后来围绕这个小圣堂建造的。
几个世纪以来大殿进行了各种翻修和改建，最引人注目的是枢机主教门多萨（Mendoza ，1478-1495）进行的翻修。翻修期间在教堂的拱门上发现了一个棺材，里面藏有Titulus Crucis（十字架上的罪状牌）。
因而大殿从一开始就被设想为一个大圣髑柜，用来保护和保存耶稣受难的珍贵证据。事实上，它被称为 "在耶路撒冷"，正是因为有来自加尔瓦略山的圣土被放置在其地基下。
