นายประสิทธิ์ เกิดเมื่อวันที่ 15 พฤศจิกายน พ.ศ. 2478 ที่บ้านถนนพรหมราช อำเภอเมือง จังหวัดอุบลราชธานี ในครอบครัวชาวไทยเชื้อสายจีนที่มีฐานะ เป็นบุตรชายของนายเปี้ยน และนางเฮียง ณรงค์เดช จบการศึกษาขั้นประถมศึกษาจากโรงเรียนวัดห้วยขะยุง อำเภอวารินชำราบ และต่อช้นมัธยมศึกษาตอนต้นที่โรงเรียนวัดศรีทอง ภายในอำเภอเมือง และได้ย้ายมาศึกษาต่อที่โรงเรียนเซนต์คาเบรียล ในกรุงเทพมหานคร และจบการศึกษาจากโรงเรียนเตรียมอุดมศึกษา และจบการศึกษาขั้นปริญญาตรี จากคณะวิศวกรรมศาสตร์ จุฬาลงกรณ์มหาวิทยาลัย และเป็นนายกสโมสรนิสิตุฬาลงกรณ์มหาวิทยาลัย ในปี พ.ศ. 2500 จากนั้นได้เข้ารับราชการเป็นทหารเป็นเวลาหนึ่งปี ได้รับยศร้อยตรี (ร.ต.) จากนั้นได้ไปศึกษาต่อและทำงานยังสหรัฐอเมริกา จบปริญญาโทด้านวิศวกรรมศาสตร์ จากมหาวิทยาลัยเท็กซัส รัฐเท็กซัส

ด้านชีวิตครอบครัวสมรสกับ ศาสตราจารย์ เกษรี ณรงค์เดช มีบุตร 1 คน