เล่าปี่เกิดในครอบครัวที่ยากจน สูญเสียบิดาไปตั้งแต่ยังเด็ก เล่าปี่และมารดาจึงต้องขายรองเท้าและเสื้อฟางขายเลี้ยงชีพ ถึงกระนั้นเล่าปี่ก็เปี่ยมด้วยความทะเยอทะยานตั้งแต่วัยเด็ก ครั้งหนึ่งเล่าปี่ได้พูดคุยกับเพื่อนขณะอยู่ใต้ต้นไม้ที่มีลักษณะคล้ายราชรถว่ามีความต้องการจะเป็นจักรรพรรดิ ในปี ค.ศ. 175 มารดาของเล่าปี่ได้ส่งเล่าปี่ไปเรียนหนังสือกับโลติดผู้มีชื่อเสียงในอำเภอตุ้นก้วน เพื่อนร่วมเรียนของเล่าปี่คนหนึ่งคือกองซุนจ้าน ซึ่งเล่าปี่ให้ความนับถือและปฏิบัติเหมือนเป็นพี่ชาย เพื่อนร่วมเรียนอีกคนเป็นญาติชื่อเล่าเต๋อหรัน (劉德然 หลิว เต๋อหรัน)[5] กล่าวกันว่าเล่าปี่ในวัยรุ่นไม่เอาใจใส่ในการเรียนหนังสือ แต่มีความสนใจในการล่าสัตว์ ดนตรี และการแต่งตัว เล่าปี่ยังเป็นที่ชื่นชอบของคนในตระกูลจากการเป็นคนพูดน้อย มีความสุขุมเยือกเย็น และรักเพื่อนฝูง