เยเกอร์เกิดในวันที่ 13 กุมภาพันธ์ ค.ศ. 1923 มีพ่อแม่ชื่อว่าอัลเบิร์ด ฮาล เยเกอร์ (Albert Hal Yeager) และซูซี เม (ไซส์มอร์) (Susie Mae (Sizemore)) ซึ่งเป็นชาวไร่ในไมรา, รัฐเวสต์เวอร์จิเนีย[1] และจบไฮสคูลที่แฮมลิน, รัฐเวสต์เวอร์จิเนีย ในเดือนมิถุนายน ค.ศ. 1941 เขามีพี่น้องชายสองคนชื่อรอย และฮาล จูเนียร์ และพี่น้องสาวสองคนชื่อดอริส แอนน์ (เสียชีวิตด้วยอุบัติเหตุตอนอายุ 2 ขวบ โดยรอยตอนที่เขาอายุ 6 ขวบที่กำลังเล่นปืนลูกซอง)[2][3] และแพนซี ลี ในวันที่ 26 กุมภาพันธ์ ค.ศ. 1945 เยเกอร์แต่งงานกับเกลนนิส ดิกเฮาส์ (Glennis Dickhouse) แล้วมีลูกสี่คน เธอเสียชีวิตในปีค.ศ. 1990[4]

ชื่อ "เยเกอร์" (Yeager, /ˈjeɪɡər/) เป็นคำที่ถูกแปลงเป็นภาษาอังกฤษจากภาษาเยอรมันว่า ยีการ์ (Jäger หรือ Jaeger (แปล: "นักล่า")) เขามีลูกพี่ลูกน้องที่เป็นอดีตนักรับเบสบอลชื่อว่า สตีฟ เยเกอร์[5][lower-alpha 1]