เจ้าพระยาอภัยราชามหายุติธรรมธร มีนามเดิมว่าหม่อมราชวงศ์ลพ เป็นโอรสในหม่อมเจ้าจินดากับหม่อมเจ้าหญิงอิน หม่อมเจ้าจินดาเป็นพระโอรสในพระเจ้าบรมวงศ์เธอ พระองค์เจ้าสุทัศน์ กรมหมื่นไกรสรวิชิต กับหม่อมน้อย[2] เกิดเมื่อวันพฤหัสบดี ขึ้น 13 ค่ำ เดือน 4 ปีมะเส็ง ตรงกับวันที่ 25 กุมภาพันธ์ พ.ศ. 2400[3]ท่านมีพี่ชายร่วมพระบิดาเดียวกันคนหนึ่งคือเจ้าพระยาวิชิตวงศ์วุฒิไกร (หม่อมราชวงศ์คลี่ สุทัศน์)

ในวัยเยาว์ได้เรียนหนังสือไทยกับพระพิมลธรรม (อ้น) และเรียนภาษาบาลีกับสมเด็จพระวันรัต (แดง สีลวฑฺฒโน) และศึกษาในทางเลขกับพระอริยกวี (พลับ) ใน พ.ศ. 2422 ได้อุปสมบทที่วัดสระเกศราชวรมหาวิหาร โดยสมเด็จพระมหาสมณเจ้า กรมพระยาปวเรศวริยาลงกรณ์ ทรงเป็นพระอุปัชฌาย์[4]