นายอมเรศ ศิลาอ่อน เกิดเมื่อวันที่ 19 ธันวาคม พ.ศ. 2476 ณ โรงพยาบาลศิริราช กรุงเทพมหานคร เป็นบุตรของนายแพทย์เอื้อม ศิลาอ่อน และนางใจสมาน ศิลาอ่อน (สกุลเดิม ชลานุเคราะห์) มีน้องชาย คือ นายแพทย์อมฤต ศิลาอ่อน   บรรพบุรุษเป็นชาวนามาจากราชบุรี

ที่มาของนามสกุล “ศิลาอ่อน” เท่าที่ได้รับคำบอกเล่า เข้าใจว่าเป็นการรวมชื่อของบรรพบุรุษฝ่ายชาย คือ“ศิลา” และฝ่ายหญิง คือ “อ่อน” มาตั้งเป็นนามสกุล ภายหลังที่พระราชบัญญัติขนามนามสกุล พ.ศ. 2456 บังคับใช้เป็นกฎหมายเมื่อพ.ศ. 2458 ได้ไม่นาน[1]

นายอมเรศ ศิลาอ่อนสมรสกับ นางภัทรา ศิลาอ่อน (สกุลเดิม ไรวา) มีบุตรชาย 3 คน ได้แก่  นายวิทูร ศิลาอ่อน นายกำธร ศิลาอ่อน และนายพรวิช ศิลาอ่อน [2]