การก่อสร้างเริ่มต้นขึ้นตามพระราชโองการของจักรพรรดิคอนแสตนตินที่ 1 แห่งจักรวรรดิโรมัน ระหว่าง ค.ศ. 326 และ 333 และใช้เวลาก่อสร้างราว 30 ปีจึงแล้วเสร็จ การออกแบบนั้นเป็นรูปแบบมหาวิหารตัวอย่าง[2] ในอีกสิบสองศตวรรษต่อมา โบสถ์จะค่อย ๆ มีความสำคัญเพิ่มมากขึ้น และจะยิ่งกลายเป็นสถานที่สำหรับจาริกแสวงบุญในกรุงโรม

พิธีสมณาภิเษกพระสันตปาปาเริ่มต้นกระทำที่นี่ และใน ค.ศ. 800 สถานที่แห่งนี้เป็นสถานที่ที่พระเจ้าชาร์เลอมาญประกอบพิธีราชาภิเษกเป็นจักรพรรดิโรมันอันศักดิ์สิทธิ์ ใน ค.ศ. 846 พวกซาราเซนปล้นและทำลายมหาวิหารดังกล่าว[3]

อย่างไรก็ตาม โบสถ์กำลังค่อย ๆ พังทลายลงเมื่อถึงคริสต์ศตวรรษที่ 15 และการอภิปรายที่จะปฏิสังขรณ์บางส่วนของสิ่งก่อสร้างนั้นเริ่มต้นตั้งแต่สำนักพระสันตะปาปาได้ย้ายกลับมาจากอาวีญงปาปาซี สองคนที่เกี่ยวข้องในการปฏิสังขรณ์อาคาร ได้แก่ เลออน บัตติสตา อัลแบร์ตี และเบอร์นาร์โด รอสเซลลีโน ซึ่งการก่อสร้างนั้นดำเนินต่อไปเป็นระยะ ๆ จนกระทั่งเริ่มก่อสร้างมหาวิหารแห่งใหม่ ในตอนแรกสมเด็จพระสันตะปาปาจูเลียสที่ 2 มีพระประสงค์ที่จะอนุรักษ์อาคารมหาวิหารหลังเก่าไว้ แต่พระประสงค์ของพระองค์ได้เปลี่ยนไปเป็นการทำลายมหาวิหารหลังเก่าเสียและก่อสร้างอาคารหลังใหม่แทน มีหลายคนในเวลานั้นที่รู้สึกตกใจกับข้อเสนอดังกล่าว เนื่องจากตัวอาคารแสดงถึงความต่อเนื่องของสมเด็จพระสันตปาปาซึ่งสืบย้อนไปถึงนักบุญเปโตร ส่วนแท่นบูชาดั้งเดิมนั้นถูกเก็บรักษาไว้ในอาคารหลังใหม่ที่จะสร้างครอบมันไว้