หม่อมหลวงปิยาภัสร์ ภิรมย์ภักดี หรือ คุณต้น เป็นบุตรีของหม่อมราชวงศ์ยงสวาสดิ์ กฤดากร อดีตรองผู้อำนวยการสำนักงานทรัพย์สินส่วนพระมหากษัตริย์ กับท่านผู้หญิงวิยะฎา กฤดากร ณ อยุธยา มีน้องชายหนึ่งคน คือ หม่อมหลวงชโยทิต กฤดากร

บิดาเป็นโอรสของหม่อมเจ้าเสริมสวาสดิ์ กฤดากร กับหม่อมหลวงแส กฤดากร (สกุลเดิม: สนิทวงศ์; เป็นพี่สาวต่างมารดาของหม่อมหลวงบัว กิติยากร) ส่วนมารดาเป็นนางสนองพระโอษฐ์ในสมเด็จพระนางเจ้าสิริกิติ์ พระบรมราชินีนาถ พระบรมราชชนนีพันปีหลวง ที่เสียชีวิตจากอุบัติเหตุเฮลิคอปเตอร์ผู้ตามเสด็จตกที่จังหวัดนราธิวาส เมื่อปี พ.ศ. 2540 เธอสำเร็จการศึกษาจากโรงเรียนสาธิตจุฬาลงกรณ์มหาวิทยาลัย, โรงเรียนจิตรลดา และปริญญาตรี เอกประวัติศาสตร์ คณะครุศาสตร์ จุฬาลงกรณ์มหาวิทยาลัย

หม่อมหลวงปิยาภัสร์ สมรสกับ จุตินันท์ ภิรมย์ภักดี กรรมการสภาสถาบันผู้ทรงคุณวุฒิ มหาวิทยาลัยการกีฬาแห่งชาติ[2] บุตรของจำนงค์ กับคุณหญิงสุภัจฉรี ภิรมย์ภักดี มีบุตร 3 คน คือ

1. จิตภัสร์ กฤดากร
2. นันทญา ภิรมย์ภักดี
3. ณัยณพ ภิรมย์ภักดี