ประเสริฐศรี จันทน์อาภรณ์ เกิดเมื่อวันที่ 18 มีนาคม พ.ศ. 2482 เป็นบุตรของนาวาโทสิน จันทน์อาภรณ์ (นามเดิม สิ่น ประทีปะเสน) กับสงัด จันทน์อาภรณ์ (สกุลเดิม อภัยสุวรรณ)[2]

บิดาของเธอเป็นบุตรของพระยาวิสูตรสาครดิฐ (เทียนสั่ง ประทีปะเสน) ซึ่งนับถือศาสนาคริสต์[2] มีบุตรที่เกิดแต่ภรรยาชื่ออินทร์หนึ่งคนชื่อ สิ่น ประทีปะเสน (พ.ศ. 2440-2530) แต่ภายหลังอินทร์และสิ่นได้แยกออกจากสกุลประทีปะเสน[2] ซึ่งต่อมาสิ่นได้บวชสามเณรในศาสนาพุทธ ทั้งเปลี่ยนชื่อใหม่เป็น สิน และตั้งสกุลใหม่ว่า "จันทน์อาภรณ์" เมื่อเข้ารับราชการทหารเรือ[2]

ส่วนสงัด มารดาของเธอ เป็นบุตรคนเดียวของหลวงประสงค์สารการ (ถม อภัยสุวรรณ) บุตรของพระยาอนุยุตศาสตราคม (ต้ม อภัยสุวรรณ) ซึ่งหลวงประสงค์สารการได้สมรสกับเสงี่ยม บุตรีของขุนพัษฯ[2]

ประเสริฐศรีมีพี่น้องทั้งหมด 11 คน แต่เสียชีวิตในวัยเยาว์ไป 3 คน และช่วงหลังอีก 2 คน จึงเหลือพี่น้องทั้งหมด 6 คน ได้แก่ นราภร โชติกะมาศ, กรุณา รุ่งสาโรจน์, ศิริมา สังข์ขำ, อำนวย จันทน์อาภรณ์ และพลเรือเอกอำพล จันทน์อาภรณ์[2]

ทั้งนี้ชื่อประเสริฐศรีอันเป็นชื่อเดิมของเธอประชาชนมักเรียกสับสนกับประสานศรี สิงหานนท์ นักร้องอีกคนหนึ่ง[3] ในปี พ.ศ. 2546 ประเสริฐศรีได้เปลี่ยนชื่อจริงเป็น พิมพ์นิภา มนตรีอาภรณ์[2]