พิชัย รัตตกุล เกิดวันที่ 16 กันยายน พ.ศ. 2469 ที่กรุงเทพมหานคร ในครอบครัวคนไทยเชื้อสายจีนซึ่งบรรพบุรุษได้เดินทางมาประเทศไทยเมื่อต้นกรุงรัตนโกสินทร์ โดยเป็นลูกชายคนโตของ นายพิศาล รัตตกุล และ นางวิไล รัตตกุล มีพี่น้องจำนวน 8 คนได้แก่

1. นายไพโรจน์ รัตตกุล (สมรสกับ นางประพันธ์ศรี ลีลานุช)
2. นายแพทย์ปราโมทย์ รัตตกุล
3. นางสาวยุพิน รัตตกุล
4. นางสาวสุภาพรรณ รัตตกุล
5. นางยุพยงค์ รัตตกุล (สมรสกับ นาย Harry Studhalter)
6. คุณหญิงสุภัจฉรีย์ ภิรมย์ภักดี (สมรสกับ นายจำนงค์ ภิรมย์ภักดี)
7. นางยุพเรศ เที่ยงธรรม (สมรสกับ นายสุนัย เที่ยงธรรม)
8. นายแสนดี รัตตกุล (สมรสกับ นางสุพรรณี เอี่ยมสกุลรัตน์)

นายพิชัยจบการศึกษาระดับมัธยมจาก โรงเรียนกรุงเทพคริสเตียน จากนั้นจึงไปศึกษาต่อด้านพาณิชยศาสตร์ที่โรงเรียนเซนต์สตีเฟ่น ที่ฮ่องกง หลังจบการศึกษาแล้วได้กลับมาดูแลธุรกิจของครอบครัว ก่อนจะเข้าสู่แวดวงการเมือง

ชีวิตครอบครัว สมรสกับ คุณหญิงจรวย รัตตกุล (สกุลเดิม ศิริบุญ) มีบุตรชาย 2 คนคือ ดร.พิจิตต รัตตกุล อดีตผู้ว่าราชการจังหวัดกรุงเทพมหานคร และ ดร.อาณัฐชัย รัตตกุล บุตรสาว 1 คนคือ คุณหญิงพัชรี ว่องไพฑูรย์ (สมรสกับ ดร.วีระนนท์ ว่องไพฑูรย์)