หลังการล่มสลายของจักรวรรดิโรมันตะวันตกในปี ค.ศ. 476 จากการสละราชสมบัติของจักรพรรดิโรมุลุส เอากุสตุส ดินแดนของชาวโรมันก็แตกออกเป็นดินแดนน้อยใหญ่มากมาย สามร้อยกว่าปีให้หลัง ชาร์เลอมาญก็สามารถรวบรวมดินแดนของโรมันกลับมาเป็นหนึ่งได้อีกครั้งในปี ค.ศ. 800 โดยมีชื่อในระยะแรกนี้เพียงแค่ว่า "จักรวรรดิโรมัน" (Roman Empire) มาจนถึงราวปี ค.ศ. 1157[3] ต่อมาเมื่อจักรพรรดิฟรีดริชที่ 1 สามารถปกครองอิตาลีและวาติกันได้ จักรวรรดิก็ถูกเรียกว่า "จักรวรรดิอันศักดิ์สิทธิ์" (Holy Empire)[4] ซึ่งได้พัฒนาไปเป็นคำว่า "จักรวรรดิโรมันอันศักดิ์สิทธิ์" ที่เริ่มปรากฏตั้งในคริสต์ศตวรรษที่ 13 เป็นต้นมา[5]

ใน ค.ศ. 1512 สภานิติบัญญัติแห่งโคโลญได้ตราพระราชกฤษฎีกาขึ้นมา โดยได้เปลี่ยนชื่อเป็น จักรวรรดิโรมันอันศักดิ์สิทธิ์แห่งชนชาติเยอรมัน (เยอรมัน: Heiliges Römisches Reich Deutscher Nation)[6][7] ซึ่งสะท้อนถึงสภาวะการเมืองของจักรวรรดิซึ่งได้สูญเสียอาณาเขตเหนืออิตาลีและเบอร์กันดีไปจนเกือบหมดในช่วงปลาย ศ. ที่ 15[8] ชื่อนี้เป็นชื่อที่ปรากฏในเอกสารบางฉบับมาตั้งแต่ ค.ศ. 1474[4] และถูกใช้งานจนถึงปลายคริตส์ศตวรรษที่ 18 ก็เป็นอันเลิกใช้