ปุณมี ปุณศรี เกิดเมื่อวันที่ 3 พฤษภาคม พ.ศ. 2471 ที่ตำบลตลาดเหนือ อำเภอเมืองจันทบุรี จังหวัดจันทบุรี เป็นบุตรของหลวงราชไมตรี (ปูม ปุณศรี) กับนางฟอม ปุณศรี มีพี่น้อง 7 คน สมรสกับนางสดศรี ปุณศรี (สกุลเดิม วัลยะเสวี) มีบุตร 1 คน คือ นายแพทย์ปสารพงษ์ ปุณศรี

ปุณมี ปุณศรี จบการศึกษาชั้นประถมจาก โรงเรียนเบญจมราชูทิศ จังหวัดจันทบุรี ชั้นมัธยมจากโรงเรียนวชิราวุธวิทยาลัย และโรงเรียนเตรียมอุดมศึกษา จากนั้นเข้าศึกษาต่อสาขาวิศวกรรมเครื่องกล ที่คณะวิศวกรรมศาสตร์ จุฬาลงกรณ์มหาวิทยาลัย และจบการศึกษาระดับปริญญาโท สาขาเครื่องกล-ปรมาณู จากสถาบันเทคโนโลยีจอร์เจีย สหรัฐอเมริกา