พระยาอภัยรณฤทธิ์ (จอมถวิล อมาตยกุล) เป็นบุตรของ พระยาธรรมสารนิติพิพิธภักดี (อธิบดีผู้พิพากษาศาลต่างประเทศ) กับคุณหญิงอิ่ม (ธิดา หลวงชาติสุรินทร) เกิดเมื่อวันที่ 19 ตุลาคม พ.ศ. 2396 มีพี่น้องร่วมบิดามารดา 6 ท่านซึ่งมีชื่อไพเราะคล้องจองกัน (แสนถนอม - จอมถวิล - ปิ่นอนงค์ - พงษ์ประวัติ - ถัดประคอง - รองจรูญ)1) คุณหญิงแสนถนอม (หรือ ถนอม) สมรสกับ พระยาเพชรพิไชย (เจ้าหมื่นศรีสรรักษ์)2) พระยาอภัยรณฤทธิ์ (จอมถวิล อมาตยกุล) สมรสกับคุณหญิงทรามสงวน (ราชเลขาธิการในสมเด็จพระบรมราชชนนีพันปีหลวง)3) คุณหญิงปิ่นอนงค์ (หรือ อนงค์) สมรสกับ พระยาอภิรักษ์ราชอุทยาน (เจ้ากรมพระราชอุทยาน)4) หลวงพิเทศพิไสย (พงษ์ประวัติ อมาตยกุล) ผู้ว่าราชการเมืองกระบี่ สมรสกับคุณทองดี (ธิดา หลวงรัตนายัติ)5) เจ้าจอมประคอง (ถัดประคอง อมาตยกุล) รับราชการเป็นเจ้าจอมในรัชกาลที่ 5 ในตำแหน่ง เจ้าจอมมโหรีคู่กับเจ้าจอมมารดาเหม อมาตยกุล6) รองจรูญ อมาตยกุล (หรือ จรูญ) เป็นบุตรีคนเล็ก จึงมิได้ถวายตัวเข้ารับราชการ และมิได้ทำการสมรส