นางปานหทัยอยู่ในครอบครัวนักการเมือง[1] โดยทั้งบิดา น้องชาย และสามี ล้วนเป็นนักการเมืองทั้งหมด หลังจากนายทศพร เสรีรักษ์ สามี ถูกตัดสิทธิ์ทางการเมือง 5 ปี ร่วมกับบ้านเลขที่ 111 นางปานหทัยจึงลงสมัครรับเลือกตั้งแทน ในปี พ.ศ. 2550 และได้รับการเลือกตั้งเป็นครั้งแรกในสังกัดพรรคพลังประชาชน และต่อมาได้รับการเลือกตั้งเป็นครั้งที่ 2 ในปี พ.ศ. 2554 สังกัดพรรคเพื่อไทย

สมาชิกสภาผู้แทนราษฎร

ปานหทัย เสรีรักษ์ ได้รับการเลือกตั้งเป็นสมาชิกสภาผู้แทนราษฎรมาแล้ว 2 สมัย คือ

1. การเลือกตั้งสมาชิกสภาผู้แทนราษฎรไทยเป็นการทั่วไป พ.ศ. 2550 จังหวัดแพร่ สังกัดพรรคพลังประชาชน
2. การเลือกตั้งสมาชิกสภาผู้แทนราษฎรไทยเป็นการทั่วไป พ.ศ. 2554 จังหวัดแพร่ สังกัดพรรคเพื่อไทย