พล.อ.กฤช เป็นบุตรของร้อยเอก หลวงพลวินัยกิจ (อำไพ ปุณณกันต์) และเป็นพี่ชายของพลเอก พงษ์ ปุณณกันต์ เคยเป็นอดีตผู้บัญชาการศูนย์การทหารม้า

พล.อ.กฤช ได้รับแต่งตั้งให้เป็นสมาชิกสภาผู้แทนราษฎรแบบแต่งตั้ง ในปี พ.ศ. 2494 (สภาผู้แทนราษฎรไทย ชุดที่ 6)[1] ถึงสภาผู้แทนราษฎรไทย ชุดที่ 8[2] พ.ศ. 2500

พล.อ.กฤช ได้รับแต่งตั้งเป็นรัฐมนตรีช่วยว่าการกระทรวงเกษตร ในรัฐบาลนายพจน์ สารสิน ในปี พ.ศ. 2500[3] และลาออกพร้อมกันทั้งคณะรัฐมนตรีหลังการเลือกตั้งสมาชิกสภาผู้แทนราษฎรไทยเป็นการทั่วไป ธันวาคม พ.ศ. 2500 จากนั้นเขาได้รับแต่งตั้งเป็นรัฐมนตรีว่าการกระทรวงอุตสาหกรรม ในรัฐบาลจอมพลถนอม กิตติขจร

พล.อ.กฤช เป็นอดีตอธิบดีกรมประชาสัมพันธ์ ระหว่างปี พ.ศ. 2506 - พ.ศ. 2516[4]

ในปี พ.ศ. 2511 ได้รับแต่งตั้งเป็นสมาชิกวุฒิสภาในวุฒิสภาไทย ชุดที่ 3[5] ต่อมาได้เข้าร่วมจัดตั้งและเป็นเป็นกรรมการบริหารพรรคสหประชาไทย ซึ่งมีจอมพล ถนอม กิตติขจร นายกรัฐมนตรี รัฐมนตรีว่าการกระทรวงกลาโหม และ ผู้บัญชาการทหารสูงสุด เป็นหัวหน้าพรรค[6]