ปานหทัย เสรีรักษ์ เกิดเมื่อวันที่ 11 มกราคม พ.ศ. 2498 เป็นบุตรสาวของดร.เมธา หรือพ่อเลี้ยงเมธา เอื้ออภิญญกุล อดีต ส.ส.แพร่ กับนางธีรวัลย์ หรือแม่เลี้ยงธีรวัลย์ เอื้ออภิญญกุล (สกุลเดิม;กันทาธรรม) มีพี่น้อง 3 คน คือ[1]

• นายเมธี เอื้ออภิญญกุล กรรมการและเจ้าหน้าที่บริหาร บริษัทบ้านปู จำกัด (มหาชน)
• นายองอาจ เอื้ออภิญญกุล กรรมการบริษัท บ้านปู จำกัด (มหาชน)
• นายวรวัจน์ เอื้ออภิญญกุล อดีตรัฐมนตรีว่าการกระทรวงวิทยาศาสตร์และเทคโนโลยี อดีตรัฐมนตรีประจำสำนักนายกรัฐมนตรี อดีตรัฐมนตรีว่าการกระทรวงศึกษาธิการ และอดีตรัฐมนตรีว่าการกระทรวงวัฒนธรรม

สำเร็จการศึกษาระดับปริญญาตรี จากคณะอักษรศาสตร์ จุฬาลงกรณ์มหาวิทยาลัย และปริญญาโท เอเชียศึกษา จากมหาวิทยาลัยวอชิงตัน เซนต์หลุยส์ สหรัฐอเมริกา สมรสกับนายทศพร เสรีรักษ์[1][2] อดีต ส.ส.แพร่ สมาชิกบ้านเลขที่ 111 มีบุตร 3 คน