พลเรือเอก ณรงค์ ยุทธวงศ์ เป็นบุตรของ พันเอก สรรค์ ยุทธวงศ์ และ นางระเบียบ ยุทธวงศ์ (อึ้งภากรณ์) มีพี่น้องร่วมครรภ์มารดา รวม 4 คน ได้แก่ พลเรือตรี สุระ ยุทธวงศ์ พลเรือเอก ณรงค์ ยุทธวงศ์ ศาตราจารย์ ดร.ยงยุทธ ยุทธวงศ์ และ แพทย์หญิง กิติมา ยุทธวงศ์ แต่เนื่องจาก พันเอก สรรค์ ยุทธวงศ์ ซึ่งเป็นบิดา ได้ถึงแก่กรรมตั้งแต่ท่านยังเล็ก นางระเบียบ ยุทธวงศ์ ซึ่งเป็นมารดา จึงต้องรับภาระในการเลี้ยงดูท่านและพี่น้องแต่เพียงลำพัง โดย ดร.ป๋วย อึ้งภากรณ์ อดีตผู้ว่าการธนาคารแห่งประเทศไทย ผู้เป็นลุง (พี่ชายนางระเบียบ) เป็นผู้สนับสนุนด้านการศึกษามาโดยตลอด

พลเรือเอก ณรงค์ ยุทธวงศ์ สมรสกับ คุณหญิง พันทิพา ยุทธวงศ์ (มากสมบูรณ์) มีบุตร-ธิดา 3 คน คือ นางบัญจรัตน์ สุหฤทดำรง นางพิจิณา วาสนะสมสิทธิ์ และ นาวาเอก พันณรงค์ ยุทธวงศ์