พล.อ.พงษ์ เป็นบุตรของร้อยเอก หลวงพลวินัยกิจ (อำไพ ปุณณกันต์) พล.อ.พงษ์ สมรสกับคุณหญิงสะอาด (สกุลเดิม อดิเรกสาร) มีบุตรคือ ศาสตราจารย์ นายแพทย์ เหลือพร ปุณณกันต์ และมีศักดิ์เป็นปู่ของพุทธิพงษ์ ปุณณกันต์ กับดนุพร ปุณณกันต์[2]

พล.อ.พงษ์ ได้รับแต่งตั้งเป็นรัฐมนตรีช่วยว่าการกระทรวงคมนาคม ในรัฐบาลนายพจน์ สารสิน ในปี พ.ศ. 2500[3] และลาออกพร้อมกันทั้งคณะรัฐมนตรีหลังการเลือกตั้งสมาชิกสภาผู้แทนราษฎรไทยเป็นการทั่วไป ธันวาคม พ.ศ. 2500 จากนั้นเขาได้รับแต่งตั้งเป็นรัฐมนตรีว่าการกระทรวงคมนาคม อีกครั้งในรัฐบาลจอมพลถนอม กิตติขจร 3 สมัย (ครม.28, ครม.30[4], ครม.32) และรัฐบาลจอมพลสฤษดิ์ ธนะรัชต์ (ครม.29)[5] และเป็นรัฐมนตรีว่าการกระทรวงอุตสาหกรรม ในรัฐบาลจอมพลถนอม กิตติขจรอีก 1 สมัย (ครม.32) รวมระยะเวลาการดำรงตำแหน่งรัฐมนตรีต่อเนื่องทั้งสิ้นกว่า 15 ปี 10 เดือน

พล.อ.พงษ์ ได้เข้าร่วมการรัฐประหารในประเทศไทย พ.ศ. 2501 นำโดยจอมพลสฤษดิ์ ธนะรัชต์ และมีบทบาทเป็นเลขาธิการคณะปฏิวัติ และยังเคยเป็นกรรมการบริหารพรรคสหประชาไทย ซึ่งมีจอมพล ถนอม กิตติขจร นายกรัฐมนตรี รัฐมนตรีว่าการกระทรวงกลาโหม และ ผู้บัญชาการทหารสูงสุด เป็นหัวหน้าพรรค[6]