หม่อมราชวงศ์เฉลิมลาภ ทวีวงศ์ เกิดเมื่อวันที่ 7 สิงหาคม พ.ศ. 2444 ณ วังกรมหมื่นภูธเรศธำรงศักดิ์ ตำบลแพร่งภูธร (สำราญราษฎร์) จังหวัดพระนคร

เมื่ออายุ 10 ปี บิดาได้นำขึ้นเฝ้าถวายตัวแด่สมเด็จพระศรีพัชรินทราบรมราชินีนาถ พระบรมราชชนนีพันปีหลวง โดยได้ทรงโปรดเกล้าฯให้หม่อมราชวงศ์ภิรมย์เฉลิมลาภเข้าศึกษาในโรงเรียนมหาดเล็กหลวง

เมื่ออายุราว 13-14 ปี สมเด็จพระศรีพัชรินทราบรมราชินีนาถ พระบรมราชชนนีพันปีหลวง ทรงโปรดให้เข้าไปเฝ้าฯ ถวายตัวเป็นมหาดเล็กในพระบาทสมเด็จพระมงกุฎเกล้าเจ้าอยู่หัว ต่อมาเมื่อวันที่ 29 กันยายน พ.ศ. 2458 พระบาทสมเด็จพระมงกุฎเกล้าเจ้าอยู่หัว ทรงพระกรุณาโปรดเกล้าฯ แต่งตั้งให้เป็นมหาดเล็กรับใช้ [1] รุ่นแรก คนที่ 5 รับราชการสนองพระเดชพระคุณ และโปรดเกล้าฯ ให้ตัดคำว่า "ภิรมย์" นำหน้าชื่อออก ด้วยทรงพระราชดำริว่าชื่อยาวเกินไป แต่นั้นมาจึงมีชื่อว่า หม่อมราชวงศ์เฉลิมลาภ ทวีวงศ์

ต่อมา พระบาทสมเด็จพระมงกุฎเกล้าเจ้าอยู่หัว ได้ทรงพระกรุณาโปรดเกล้าฯ ให้หม่อมราชวงศ์เฉลิมลาภ ทวีวงศ์ ไปศึกษาเล่าเรียน ณ ประเทศอังกฤษ ด้วยพระราชทรัพย์ส่วนพระองค์

พ.ศ. 2467 ได้สำเร็จการศึกษาจากมหาวิทยาลัยเคมบริดจ์ ปริญญาตรี บี.เอ. เกียรตินิยมทางรัฐศาสตร์ ต่อมาในปี พ.ศ. 2494 มหาวิทยาลัยเคมบริดจ์ ประเทศอังกฤษ ได้มอบปริญญามหาบัณฑิตกิตติมศักดิ์ (เอ็ม.เอ.) ให้อีกวาระหนึ่ง