ม.ร.ว.พงษ์สวัสดิ์ เกิดเมื่อวันที่ 20 มิถุนายน พ.ศ. 2500 เป็นโอรสในหม่อมเจ้าภากูล สวัสดิวัตน์ (พระโอรสในสมเด็จพระเจ้าบรมวงศ์เธอ กรมพระสวัสดิวัดนวิศิษฎ์) กับหม่อมประชุมสินธ์ สวัสดิวัตน์ ณ อยุธยา สำเร็จการศึกษาระดับปริญญาตรี สาขาวิทยาการคอมพิวเตอร์ จากมหาวิทยาลัยเซาท์อีสท์มิซซูรี่สเตท และระดับปริญญาโท สาขาการจัดการอุตสาหกรรม จากมหาวิทยาลัยเซนต์ทรัลมิซซูรี่ และสาขาการจัดการนโยบายสาธารณะ จากมหาวิทยาลัยฮาร์วาร์ด[2]

ม.ร.ว.พงษ์สวัสดิ์ สมรสกับ ดร.ทรงสมร สวัสดิวัตน์ ณ อยุธยา ผู้จัดการโรงเรียนทรงวิทยาเทพารักษ์ จังหวัดสมุทรปราการ มีบุตร 2 คน คือ หม่อมหลวงทรงลักษณ์ สวัสดิวัตน์ สำเร็จการศึกษาปริญญาโทจาก มหาวิทยาลัยโคลัมเบีย นครนิวยอร์ก และหม่อมหลวงสิริสมร สวัสดิวัตน์ กำลังศึกษาอยู่ที่คณะอักษรศาสตร์ จุฬาลงกรณ์มหาวิทยาลัย