ซาลต ซอร์ เกิดเมื่อ 19 พฤษภาคม พ.ศ. 2468 เป็นบุตรของเพ็น ซาลต และซก เนม มีพี่น้องทั้งหมด 7 คน คือ[12]

1. ลต ซีม (Loth Sem)
2. ลต ซวง (Loth Soung)
3. ลต แซง (Loth Seng)
4. ลต เสรือง (Loth Sroeung) คนนี้เป็นเจ้าจอมคนหนึ่งของพระบาทสมเด็จพระสีสุวัตถิ์ มุนีวงศ์
5. ลต ฉาย (Loth Chhay)
6. ลต ซอ หรือพล พต
7. ลต แญบ (Loth Nhep)

เขาอ่อนกว่าลต ฉายที่เป็นพี่ชายของเขา 3 ปี ครอบครัวของเขาอยู่ในหมู่บ้านชาวประมงเล็ก ๆ ในแพรกสเบา จังหวัดกำปงธม ในสมัยที่ยังเป็นอาณานิคมของฝรั่งเศส[13] เพ็น ซาลตเป็นชาวนา มีเนื้อที่เพียง 12 เฮกตาร์ จัดเป็นครอบครัวชนชั้นกลางในสมัยนั้น ครอบครัวนี้มีสายเลือดจีน-เขมร[14][15] ใน พ.ศ. 2478 ซาลต ซอร์ไปเข้าโรงเรียนคาทอลิกในพนมเปญ โดยอยู่กับเมียกที่เป็นญาติของเขา ซี่งเธอเป็นนางรำหลวง[16] ที่ไปอยู่ในวังตั้งแต่ 8 ขวบ[12] เคยบวชเป็นสามเณรเมื่ออายุ 10 ขวบ ซอร์พักกับเมียกจนถึง พ.ศ. 2490 จึงเข้าเรียนที่วิทยาลัยพระสีสุวัตถ์