เจ้าพระยาศรีธรรมาธิเบศ เกิดวันที่ 30 ตุลาคม พ.ศ. 2428 ในรัชสมัยพระบาทสมเด็จพระจุลจอมเกล้าเจ้าอยู่หัว เกิดที่บ้านพระยาสุนทรานุรักษ์ (เนตร ณ สงขลา) ผู้ช่วยราชการเมืองสงขลา ณ ตำบลบ่อยาง อำเภอเมืองสงขลา จังหวัดสงขลา เป็นบุตรชายคนโตของพระอนันตสมบัติ (เอม ณ สงขลา) ผู้ช่วยราชการเมืองสงขลา กับนางอนันตสมบัติ (เชื้อ วัชราภัย) ธิดาของหลวงอุปการโกษากร (เวท วัชราภัย) กับท่านปั้น วัชราภัย (ณ สงขลา) เป็นหลานของเจ้าพระยาวิเชียรคีรี (เม่น ณ สงขลา) ผู้สำเร็จราชการเมืองสงขลา ลำดับที่ 6 นับจากทั้งฝ่ายบิดาและมารดา เจ้าพระยาศรีธรรมาธิเบศ มีพี่น้องร่วมบิดามารดาเดียวกัน 9 คน ได้แก่

1. เจ้าพระยาศรีธรรมาธิเบศ (จิตร ณ สงขลา)
2. พระยามานวราชเสวี (ปลอด วิเชียร ณ สงขลา) ผู้สำเร็จราชการแทนพระองค์ในรัชกาลที่ 9 ประธานรัฐสภาและรัฐมนตรีว่าการกระทรวงการคลัง สมรสกับท่านผู้หญิงศรี (ลพานุกรม) น้องสาวเภสัชกร ดร.ตั้ว ลพานุกรม กรรมการราษฎร อธิบดีกรมวิทยาศาสตร์คนแรก
3. คุณหญิงลิ้ม ณ สงขลา สมรสกับ พระยาอภิรักษ์ราชอุทาน (ฑิตย์ ณ สงขลา) มหาดเล็ก เจ้ากรมสวนหลวงและองคมนตรี
4. หลวงสฤษฎิสุขาการ (รอด ณ สงขลา)
5. คุณหญิงเกษร สุขุม
6. นางมหานุภาพปราบสงคราม (จิ๋ว ณ สงขลา) สมรสกับหลวงมหานุภาพปราบสงคราม (ผ่อง โรจนะหัสดิน)
7. นายอาจ ณ สงขลา สมรัสกับ นางผัน
8. คุณเอื้อน ณ สงขลา
9. นางราชฤทธิ์บริรักษ์ (ลำดวน ณ สงขลา) สมรสกับ ขุนราชฤทธิ์บริรักษ์ (ขำ ณ สงขลา)

เจ้าพระยาศรีธรรมาธิเบศถึงแก่อสัญกรรมเมื่อวันที่ 25 กันยายน พ.ศ. 2519 สิริอายุได้ 90 ปี 11 เดือน 8 วัน หลังจากรับราชการทั้งด้านตุลาการ บริหาร นิติบัญญัติ และองคมนตรี รวมทั้งสิ้นถึง 72 ปี