พ.อ.ณรงค์ เป็นบุตรชายของจอมพลถนอม กิตติขจร นายกรัฐมนตรี และเป็นบุตรเขยของ จอมพลประภาส จารุเสถียร รัฐมนตรีว่าการกระทรวงมหาดไทย และอธิบดีกรมตำรวจ เพราะได้สมรสกับนางสุภาพร กิตติขจร บุตรสาวคนที่ 3 ของจอมพลประภาส ซึ่งรู้จักคุ้นเคยกับมาตั้งแต่อายุได้ 5-6 ขวบ และได้ขอแต่งงานเมื่อคุณสุภาพรอายุได้เพียง 18 ปีเท่านั้น (ในขณะนั้น พ.อ.ณรงค์ ติดยศร้อยตรี) โดยมีบุตร - ธิดารวม 4 คน ได้แก่

• พลเอก เกริกเกียรติ กิตติขจร สมรส นัฎฐา กิตติขจร มีบุตรสาว ชื่อ กนกรส กิตติขจร และบุตร ชื่อ กฎเกณฑ์ กิตติขจร
• นาย กรกาจ กิตติขจร (เสียชีวิตแล้ว) ใน เดือน พฤษภาคม พ.ศ. 2557[1] สมรส กับ ประพจนีย์ กิตติขจร มีบุตร ชื่อ กิตติพจน์ กิตติขจร
• พลตรี กิจก้อง กิตติขจร
• นาง กรองกาญจน์ ดิศกุล ณ อยุธยา