เจ้าพระยาศรีวิไชยชนินทร์ สมรสกับคุณหญิงเอี่ยม ท.จ. (ธิดาหลวงพิทักษ์นรากร (ชื่น ชินทักษ) กับนางแย้ม พิทักษ์นรากร) คุณหญิงป่วยเป็นโรคปัสสาวะพิการ ถึงแก่อนิจกรรมวันที่ 16 มีนาคม พ.ศ. 2469[10] มีบุตรธิดาด้วยกัน 5 คน ได้แก่[11]

1. ธิดาไม่ทราบนาม เสียชีวิตตั้งแต่ยังเยาว์
2. คุณหญิงเนียน พัศดีกลาง
3. พระยาสฤษดิพจนกร (ชาย สุนทรารชุน)
4. จมื่นสิทธิกฤดากร (เชื้อ สุนทรารชุน)
5. นางสาวช่วง สุนทรารชุน

เจ้าพระยาศรีวิไชยชนินทร์ ป่วยด้วยโรคชรา ถึงแก่อสัญกรรมเมื่อวันที่ 8 กรกฎาคม พ.ศ. 2468 สิริอายุ 73 ปี ได้รับพระราชทานโกศแปดเหลี่ยม ชั้นรองโกศ 1 ชั้น ฉัตรเบญจา 4 คัน เป็นเกียรติยศ[3]