ประวัติของการใช้เหยี่ยวเป็นสัญลักษณ์เริ่มตั้งแต่สมัยแรก จักรวรรดิโรมันและจักรวรรดิไบแซนไทน์สงวนการใช้รูปเหยี่ยวสำหรับสิ่งที่มีความสำคัญเท่านั้นโดยเฉพาะสำหรับพระเจ้า และ จักรพรรดิ ซึ่งเป็นสัญลักษณ์ของความคงกระพัน ต่อมาเหยี่ยวก็กลายเป็นสัญลักษณ์ของหลวงในรูปของเหยี่ยวทอง (Golden Eagle) ที่เรียกกันในภาษาเยอรมันว่า “เหยี่ยวเยอรมัน” (Reichsadler) ที่อาจจะใช้มาตั้งแต่รัชสมัยของชาร์เลอมาญ (ค.ศ. 742–ค.ศ. 814) ราวปี ค.ศ. 1200 เหยี่ยวดำบนทุ่งทองมักจะทราบกันว่าเป็นตราอาร์มหลวง

ในปี ค.ศ. 1433 ก็เริ่มมีการใช้เหยี่ยวสองหัวเป็นครั้งแรกโดยสมเด็จพระจักรพรรดิซิจิสมุนด์แห่งโรมันอันศักดิ์สิทธิ์ ตั้งแต่นั้นมาเหยี่ยวสองหัวกลายมาเป็นสัญลักษณ์ของจักรพรรดิเยอรมัน และเป็นตราอาร์มจักรวรรดิโรมันอันศักดิ์สิทธิ์ จากตั้งแต่กลางคริสต์ศตวรรษที่ 15 เป็นต้นมาจักรพรรดิก็ทรงใส่ตราของราชวงศ์ของตนเองบนอกของเหยี่ยว หลังจากการสิ้นสุดของจักรวรรดิโรมันอันศักดิ์สิทธิ์ในปี ค.ศ. 1806 รัฐเยอรมันและสัญลักษณ์ของรัฐร่วมก็สิ้นสุดลง