ท่านแต่งงานกับ คุณหญิงละม้าย เมื่อวันที่ 27 ตุลาคม 2441 ต่อมาภรรยาคลอดบุตรฝาแฝดในปี พ.ศ. 2443 แต่บุตรฝาแฝดตาย ในปีต่อมาคลอดลูกอีกคนอยู่ได้ราว 2 เดือนก็ตาย ต่อมารับบุตรของน้องชาย (พระประเวศวนขันธ์ - ปลื้ม เศรษฐบุตร) มาเป็นบุตรบุญธรรม ให้ชื่อว่าวิทย์ เศรษฐบุตร (วิทย์ ภิรมย์ภักดี) ต่อมาเมื่อวันที่ 2 มกราคม 2455 ได้บุตรกับนางกิม ชื่อ ประจวบ เศรษฐบุตร (ประจวบ ภิรมย์ภักดี) และเมื่อวันที่ 29 กุมภาพันธ์ พ.ศ. 2471 ได้บุตรอีกคนกับนางจิ้มลิ้มชื่อ ประจง เศรษฐบุตร (จำนงค์ ภิรมย์ภักดี)