เป็นบุตรคนโตของอำมาตย์โท พระภูมิพิชัย (หม่อมราชวงศ์บุง ลดาวัลย์; อดีตเจ้าเมืองชัยภูมิ ลำพูน แม่ฮ่องสอน ปัตตานี และกำแพงเพชร; โอรสในหม่อมเจ้าเพิ่ม ลดาวัลย์) กับนางภูมิพิชัย (เนือง ลดาวัลย์ ณ อยุธยา; ธิดาของพันเอก พระยาไกรเพชรรัตนสงคราม (แฉ่ บุนนาค)) มีพี่น้องดังนี้

• หม่อมหลวงนิรันดร ลดาวัลย์ สมรสกับพิศมัย (สกุลเดิม บุนนาค)
• หม่อมหลวงภียยุพงศ์ บุนนาค สมรสกับชูชีพ บุนนาค
• หม่อมหลวงขันทอง ลดาวัลย์
• หม่อมหลวงหิรัญญิกา วรรณเมธี สมรสกับแผน วรรณเมธี (เลขาธิการสภากาชาดไทย)

นอกจากนี้หม่อมหลวงทวีสันต์ ลดาวัลย์ มีศักดิ์เป็นหลานป้าของเจ้าจอมหม่อมราชวงศ์สดับ ลดาวัลย์ เจ้าจอมในพระบาทสมเด็จพระจุลจอมเกล้าเจ้าอยู่หัว รัชกาลที่ 5
หม่อมหลวงทวีสันต์ ลดาวัลย์ สมรสและหย่ากับท่านผู้หญิงบุษบา สธนพงศ์ (ราชสกุลเดิม กิติยากร; พระขนิษฐาในสมเด็จพระนางเจ้าสิริกิติ์ พระบรมราชินีนาถ พระบรมราชชนนีพันปีหลวง) มีธิดาเพียงคนเดียว คือ

• ท่านผู้หญิง ดร.สุธาวัลย์ เสถียรไทย สมรสกับ ดร.สุรเกียรติ เสถียรไทย อดีตรัฐมนตรีว่าการกระทรวงการต่างประเทศ