อาสา สารสิน มีพี่น้อง 5 คน คือ

1. พงส์ สารสิน ประธานกรรมการอินทัช โฮลดิ้งส์ หลังจากขายหุ้นให้บริษัทกุหลาบแก้ว จำกัดในเครือ ชเทมาเส็กโฮลดิงส์ ประเทศสิงคโปร์
2. พลตำรวจเอกเภา สารสิน อดีตอธิบดีกรมตำรวจ
3. บัณฑิต บุญยะปาณะ อดีตปลัดกระทรวงการคลัง
4. พิมสิริ ณ สงขลา สมรสกับพันเอกจินดา ณ สงขลา อดีตเลขาธิการคณะกรรมการข้าราชการพลเรือน
5. พลเอกสุภัทร สารสิน

อาสา สมรสกับท่านผู้หญิงสุจิตคุณ สารสิน (ราชสกุลเดิม กิติยากร) ธิดาในหม่อมเจ้าขจรจบกิตติคุณ กิติยากร กับหม่อมราชวงศ์วิจิตรโฉม กิติยากร (ราชสกุลเดิม ชยางกูร) มีบุตร-ธิดา 3 คน คือ

• กิติยา อมาตยกุล สมรสกับพีระยศ อมาตยกุล
• พาที สารสิน อดีตกรรมการผู้จัดการ นกแอร์
• ปิยมา สารสิน