นายสวัสดิ์ วัฒนายากร เกิดที่จังหวัดปัตตานี เป็นบุตรคนที่ 7 ในจำนวน 10 คนของขุนธำรงพันธุ์ภักดี กับนางสร้อยทอง วัฒนายากร (คณานุรักษ์) สมรสกับคุณหญิงปานจิตต์ วัฒนายากร อดีตผู้ช่วยปลัดกระทรวงเกษตรและสหกรณ์ มีบุตรชาย 1 คน คือ ทัศนพงษ์ วัฒนายากร

นายสวัสดิ์ วัฒนายากร ถึงแก่อสัญกรรมเมื่อวันที่ 13 มีนาคม พ.ศ. 2555 ที่โรงพยาบาลรามาธิบดี ด้วยโรคมะเร็งในหลอดลม รวมอายุ 77 ปี 5 เดือน มีพิธีพระราชทานน้ำหลวงอาบศพ เมื่อวันที่ 14 มีนาคม ณ ศาลาบัณณรศภาค วัดเบญจมบพิตรดุสิตวนาราม โดยพระบาทสมเด็จพระเจ้าอยู่หัวฯ ทรงพระกรุณาโปรดเกล้าฯ ให้ พลเอกเปรม ติณสูลานนท์ ประธานองคมนตรีและรัฐบุรุษ เป็นผู้แทนพระองค์ ในการนี้ทรงพระกรุณาโปรดเกล้าฯ พระราชทานโกศมณฑป พร้อมเครื่องประกอบเกียรติยศศพ พระพิธีธรรมสวดพระอภิธรรมศพ 7 คืน กับพระราชทานบำเพ็ญกุศลงาน 7 วัน และทรงรับไว้ในพระบรมราชานุเคราห์

นายสวัสดิ์ วัฒนายากร มีศักดิ์เป็นน้องชายของนายมงคล วัฒนายากร ซึ่งเป็นบิดาของ รองศาสตราจารย์ ดร.ปณิธาน วัฒนายากร อดีตรองเลขาธิการนายกรัฐมนตรีฝ่ายการเมือง