เจ้าพระยาศรีธรรมาธิเบศได้สมรสกับท่านผู้หญิงน้อม ธิดาของนายพลโท พระยาพหลโยธินรามินทรภักดี (นพ พหลโยธิน) กับคุณหญิงล้วน (จารุรัตน์) มีบุตร-ธิดารวม 11 คน ดังนี้[4][5]

1. นางจักรปาณีศรีศีลวิสุทธิ์ (ถนิต ณ สงขลา) สมรสกับศาสตราจารย์ หลวงจักรปาณีศรีศีลวิสุทธิ์ (วิสุทธิ์ ไกรฤกษ์) บุตรเจ้าพระยามหิธร (ลออ ไกรฤกษ์)
2. นายขนบ ถึงแก่กรรมเมื่อวัยเยาว์
3. นางจำนงค์ (ณ สงขลา) สมรสกับ นายพิพรรธน์ ไกรฤกษ์ บุตรคนโตของพระยาประเสริฐศุภกิจ (เพิ่ม ไกรฤกษ์) กับคุณหญิงจำเริญ น้องสาวเจ้าพระยามหิธร (ลออ ไกรฤกษ์)
4. นางสมศรี (ณ สงขลา) สมรสกับ นายเผดิม อังสุวัฒนะ สมาชิกวุฒิสภา
5. นางภิรมย์ (ณ สงขลา) สมรสกับ นายโอบบุญ วณิกกุล เอกอัครราชทูตไทยประจำกรุงโตเกียว และกรุงปารีส บุตรพระยาเทพวิทุรพหุลศรุตบดี (บุญช่วย วณิกกุล) องคมนตรี เสนาบดีและรัฐมนตรีว่าการกระทรวงยุติธรรม และประธานศาลฎีกา
6. พันเอกจินดา ณ สงขลา เลขาธิการคณะกรรมการข้าราชการพลเรือน (ก.พ.) สมรสกับนางสาวพิมสิริ สารสิน บุตรีนายพจน์ สารสิน อดีตนายกรัฐมนตรีไทย กับท่านผู้หญิงสิริ
7. นางสาวผกา ณ สงขลา
8. นายเจตนา ณ สงขลา สมรสกับ นางกรรติกา (หัพนานนท์)
9. ศาสตราจารย์ นายแพทย์ ญาใจ (ยาใจ) ณ สงขลา คณบดีคณะแพทยศาสตร์ จุฬาลงกรณ์มหาวิทยาลัย สมรสกับนางสาวสุคนธา ลิมปิชาติ บุตรีหลวงชาติตระการโกศล (เจียม ลิมปิชาติ) อธิบดีกรมตำรวจ และสมรสกับนางอุไรวรรณ (พ่วงบุญมาก)
10. นางสายจิตร (ณ สงขลา) สมรสกับ ศาสตราจารย์กิตติคุณ เติมศักดิ์ กฤษณามระ อธิการบดีจุฬาลงกรณ์มหาวิทยาลัย บุตรคนโตของศาสตราจารย์อุปการคุณ พระยาไชยยศสมบัติ (เสริม กฤษณามระ) อดีตรัฐมนตรีว่าการกระทรวงการคลัง และคุณหญิงศรีไชยยศสมบัติ
11. บุตรชาย ถึงแก่กรรมเมื่อคลอด

และภายหลังจากท่านผู้หญิงน้อม พหลโยธิน ถึงแก่อนิจกรรมเมื่อ พ.ศ. 2495 เจ้าพระยาศรีธรรมาธิเบศได้สมรสกับท่านผู้หญิงประภา วัชราภัย ธิดาของ มหาอำมาตย์โท พระยาพิจารณาปฤชามาตย์ (สุหร่าย วัชราภัย) และ คุณหญิงจำเริญ วัชราภัย (ภัทรนาวิก)ไม่มีบุตร-ธิดาด้วยกัน ท่านผู้หญิงประภา วัชราภัย ถึงแก่อนิจกรรม เมื่อวันที่ 23 ธันวาคม พ.ศ. 2516