จิตรเป็นบุตรของศิริ ภูมิศักดิ์ กับแสงเงิน ฉายาวงศ์[2] มีชื่อเดิมว่า สมจิตร ภูมิศักดิ์ แต่ต่อมาเปลี่ยนเป็น จิตร เพียงคำเดียว ตามนโยบายตั้งชื่อให้ระบุเพศชายหญิงอย่างชัดเจน ของ จอมพล ป. พิบูลสงคราม

พ.ศ. 2479 จิตรติดตามบิดา ซึ่งรับราชการเป็นนายตรวจสรรพสามิต เดินทางไปรับราชการยังจังหวัดกาญจนบุรี และเข้ารับการศึกษาชั้นประถมที่โรงเรียนประจำจังหวัดกาญจนบุรี จนถึงปี พ.ศ. 2482 จิตรย้ายมาอยู่ที่จังหวัดสมุทรปราการ อีก 7 เดือนบิดาก็ได้รับคำสั่งย้ายไปรับราชการในเมืองพระตะบอง ซึ่งสมัยนั้นเป็นเมืองในการปกครองของไทย (ปัจจุบันอยู่ในอาณาเขตของกัมพูชา) จิตรจึงย้ายตามไปด้วย และได้เข้าศึกษาชั้นมัธยมที่นั่น

พ.ศ. 2490 ประเทศไทยต้องคืนดินแดนเมืองพระตะบองให้กัมพูชา จิตรจึงอพยพตามมารดากลับเมืองไทย ระหว่างที่ครอบครัวภูมิศักดิ์ ยังอยู่ที่พระตะบอง นางแสงเงินเดินทางไปค้าขายที่จังหวัดลพบุรี ขณะที่จิตรและพี่สาว เดินทางมาศึกษาต่อในกรุงเทพมหานคร โดยจิตรเข้าเรียนที่โรงเรียนเบญจมบพิตร (โรงเรียนมัธยมวัดเบญจมบพิตรในปัจจุบัน) และสอบเข้าโรงเรียนเตรียมอุดมศึกษา และคณะอักษรศาสตร์ จุฬาลงกรณ์มหาวิทยาลัย ในที่สุด

บิดาและมารดาของจิตร ภูมิศักดิ์ แยกทางกัน หลังจากนั้นหลายปีต่อมาบิดาของจิตร ภูมิศักดิ์ ก็ได้แต่งงานใหม่กับนางสงวน สร้างครอบครัวใหม่ที่จังหวัดสระบุรี โดยมีบุตรด้วยกัน 5 คน เป็น หญิง 4 คน และ ชาย 1 คน(คนกลาง)

พ่อของจิตร (นายศิริ) เป็นคนที่มีความคิดก้าวหน้าและถือว่าหัวสมัยใหม่มากสำหรับคนในยุคนั้น ไม่ว่าจะเป็นการนำเทคโนโลยีใหม่ ๆ จากต่างประเทศเข้ามาเสมอ เช่น กล้องถ่ายรูป ทรานซิสเตอร์ ฯลฯ และไม่เคยหยุดที่จะเรียนรู้สิ่งใหม่ ๆ ก้าวไปพร้อมกับโลกที่มีการพัฒนาอย่างรวดเร็ว วิศัยทัศน์ที่กว้างไกลของบิดาส่วนหนึ่งเป็นผลทำให้ความคิดของผู้เป็นบุตรมีความก้าวหน้าและเปิดกว้างมากกว่าเด็กในสมัยนั้น