หม่อมหลวงศิริเฉลิม สวัสดิวัตน์ เกิดเมื่อวันที่ 16 กรกฎาคม พ.ศ. 2496 ณ วังศุโขทัย เป็นบุตรชายของหม่อมราชวงศ์ถนัดศรี สวัสดิวัตน์ กับหม่อมหลวงประอร จักรพันธุ์ (ราชสกุลเดิม: มาลากุล) มีน้องชายร่วมบิดามารดาหนึ่งคนคือ หม่อมหลวงเพิ่มวุทธ์ สวัสดิวัตน์ และน้องชายต่างมารดาซึ่งเป็นที่รู้จักกันดีในวงการอาหารคือ หม่อมหลวงภาสันต์ สวัสดิวัตน์ มารดาเป็นนางสนองพระโอษฐ์ในสมเด็จพระนางเจ้ารำไพพรรณี พระบรมราชินีซึ่งมีศักดิ์เป็นสมเด็จย่า ขณะหม่อมหลวงศิริเฉลิมมีอายุราว 3-4 ปี หม่อมหลวงประอรผู้มารดาได้หย่าร้างกับบิดาและสมรสใหม่กับหม่อมเจ้าการวิก จักรพันธุ์[1]

เบื้องต้น หม่อมหลวงศิริเฉลิมเข้าศึกษาที่โรงเรียนสมถวิล และโรงเรียนสาธิตมหาวิทยาลัยศรีนครินทรวิโรฒ ประสานมิตร จนอายุได้ 12 ปี พระวรวงศ์เธอ พระองค์เจ้าสุทธสิริโสภาที่ทรงมีศักดิ์เป็นป้าได้ส่งให้เรียนต่อต่างประเทศที่วิทยาลัยเชลเทนแฮม (Cheltenham College) สหราชอาณาจักร แล้วเรียนต่อด้านการทูตที่มหาวิทยาลัยจอร์จวอชิงตัน (George Washington University) แต่เรียนได้เพียงสามปีก็ลาออก เพราะพบว่าตนมีความสุขเมื่อทำอาหารมากกว่า[1]