ตำนานกษัตริย์เล่าว่า หลิว ปัง สืบเชื้อสายมาจากจักรพรรดิเหยา (堯帝) กษัตริย์ในตำนานซึ่งสืบเชื้อสายมาจากจักรพรรดิเหลือง (黃帝) อีกทอด[3] ทั้งนี้ ชนชั้นปกครองจีนมักอ้างว่า ตนสืบเชื้อสายมาจากจักรพรรดิเหลือง เพื่อสามารถอ้างได้ว่า มีอาณัติสวรรค์ให้มาปกครองแผ่นดิน[4]

หลิว ปัง เกิดในครอบครัวไพร่ (peasant) ณ หมู่บ้านเฝินหยู (枌榆社), ตำบลจงหยาง (中阳里), เมืองเฟิง (丰邑), เทศมณฑลเพ่ย์ ของรัฐฉู่ ในปลายยุครณรัฐ[1]

บิดามารดาของหลิว ปัง ไม่ปรากฏนามในเอกสารทางประวัติศาสตร์ บิดามักได้รับการเรียกขานว่า "หลิวไท่กง" (刘太公; "เจ้าหลวงหลิว") ส่วนมารดาของเขามักเรียกขานกันว่า "หลิวอ่าว" (刘媪; "ยายหลิว") ตำนานเล่าว่า วันหนึ่ง เกิดพายุฝน หลิวอ่าวเข้าไปหลบใต้สะพาน หลิวไท่กงออกบ้านไปตามภริยา เห็นมังกรลอยอยู่เหนือนาง จากนั้น นางก็ตั้งครรภ์และคลอดออกมาเป็นหลิว ปัง[5]

บันทึกสมัยหลังระบุว่า หลิว ปัง เป็นคนโผงผางมุทะลุ แต่มีเสน่ห์ น้ำใจงาม ความอดทนเป็นเลิศ แต่มักเที่ยวเตร่ไปวัน ๆ ไปสนใจอ่านหนังสือ ไม่ชอบทำไร่ไถนา ไม่พอใจการใช้แรงงาน และมักวิวาทกับเจ้าหน้าที่บ้านเมือง บิดาจึงมักเรียกเขาว่า "นักเลงตัวจ้อย" (little rascal) เมื่อโตขึ้น หลิว ปัง ก็ยังใช้ชีวิตเหมือนเดิม ได้ครอบครัวเป็นแหล่งอาศัยและดำรงชีพ เมื่อสูงวัยขึ้น เขาได้คบหาชอบพอกับจาง เอ่อร์ (张耳) ผู้ว่าการเทศมณฑลหมินเฉวียน (民权县) ซึ่งเคยเป็นคนสนิทของข้าราชการบรรดาศักดิ์ซิ่นหลิงจวิน (信陵君)

หลังจากราชวงศ์ฉินยึดครองรัฐฉู่เป็นผลสำเร็จ จาง เอ่อร์ หนีไปซ่อนตัว หลิว ปัง ก็เดินทางกลับบ้านเดิม และได้รับแต่งตั้งเป็นมือปราบประจำหอซื่อฉุ่ย (泗水亭) ในเทศมณฑลเพ่ย์ ทำงานในการบังคับบัญชาของเซียว เหอ (蕭何) กับเฉา ชาน (曹參) ซึ่งเป็นสหายรักของเขา และมักช่วยปิดบังพฤติกรรมเกกมะเหรกของเขา หลิว ปัง ยังได้ผูกไมตรีกับข้าราชการท้องถิ่นอีกหลายคน ทำให้มีชื่อเสียงขึ้นในเขตนั้น ต่อมา หลิว ปัง ถูกส่งไปใช้แรงงานในเสียนหยาง (咸阳) เมืองหลวงของจักรวรรดิฉิน และได้พบกับฉินฉื่อหฺวังตี้ ปฐมกษัตริย์ฉิน ขณะเสด็จตรวจราชการ เขาเห็นขบวนเสด็จโอ่อ่าอลังการ ก็อุทานว่า "แม่เจ้า ผู้ยิ่งใหญ่ต้องแบบนี้แหละ" (嗟乎，大丈夫当如此也)

ต่อมา ลฺหวี่ เหวิน (吕文) คหบดีแห่งเทศมณฑลช่าน (单县) ย้ายรกรากมายังเทศมณฑลเพ่ย์ และจัดเลี้ยงผู้ลากมากดีในท้องถิ่น ลฺหวี่ เหวิน มอบหมายให้เซียว เหอ ตรวจเก็บของขวัญที่ได้จากแขกเหรื่อ เซียว เหอ ประกาศว่า คนที่ให้ของขวัญมูลค่าต่ำกว่าหนึ่งพันเฉียน (钱) ให้ออกไปนั่งข้างนอก หลิว ปัง มางานโดยไม่ได้เตรียมของขวัญมาด้วย แต่กล่าวว่า "มอบหนึ่งหมื่นเฉียน" (錢錢一萬) ลฺหวี่ เหวิน มองมาที่หลิว ปัง และประทับใจในบุคลิกลักษณะ จึงลุกขึ้นต้อนรับหลิว ปัง เข้าไปข้างใน แล้วให้นั่งข้างกัน แม้เซียว เหอ จะบอกว่า หลิว ปัง ไม่ได้นำสิ่งใดมาเลยก็ตาม ลฺหวี่ เหวิน พินิจดูรูปร่างหลิว ปัง แล้วกล่าวว่า "ข้าทำนายลักษณะคนมาก็มาก แต่ไม่เคยพบผู้ใดมีลักษณะพิเศษเช่นท่านเลย" (我很會看面相，但是沒看過像你這麼相貌不凡的) ลฺหวี่ เหวิน จึงยกลฺหวี่ จื้อ (呂雉) ผู้เป็นบุตรสาว ให้เป็นภริยาของหลิว ปัง ลฺหวี่ จื้อ มีบุตรสองคนกับหลิว ปัง คนหนึ่งเป็นบุตรชาย คือ หลิว อิ๋ง ซึ่งภายหลังขึ้นครองราชย์เป็นจักรพรรดิฮั่นฮุ่ย อีกคนเป็นบุตรสาว ซึ่งภายหลังได้เป็นองค์หญิงหลู่-ยฺเหวียน (魯元公主)