พระเจ้าวรวงศ์เธอ พระองค์เจ้าวิภาวดีรังสิต มีพระนามเมื่อแรกประสูติคือ “หม่อมเจ้าวิภาวดี รัชนี” เป็นพระธิดาในพระราชวรวงศ์เธอ กรมหมื่นพิทยาลงกรณ์ กับหม่อมเจ้าพรพิมลพรรณ รัชนี (ราชสกุลเดิม วรวรรณ) มีพระอนุชาร่วมพระบิดามารดาเดียวกันองค์เดียว คือ หม่อมเจ้าภีศเดช รัชนี

หม่อมเจ้าวิภาวดี รังสิต เสกสมรสกับหม่อมเจ้าปิยะรังสิต รังสิต พระโอรสองค์ใหญ่ในสมเด็จพระเจ้าบรมวงศ์เธอ กรมพระยาชัยนาทนเรนทร เมื่อวันที่ 6 พฤษภาคม พ.ศ. 2489 โดยได้รับพระราชทานน้ำพระมหาสังข์จากพระบาทสมเด็จพระปรเมนทรมหาอานันทมหิดล พระอัฐมรามาธิบดินทร มีธิดาสองคน คือ

1. หม่อมราชวงศ์วิภานันท์ รังสิต สมรสกับสวนิต คงสิริ และสมรสอีกครั้งกับวิลเลียม บี. บูธ มีบุตรจากการสมรสครั้งแรกสองคน และครั้งที่สองหนึ่งคน
2. หม่อมราชวงศ์ปรียนันทนา รังสิต สมรสและหย่ากับ มหาราช จกัต สิงห์ พระอนุชาของมหาราชองค์ปัจจุบันแห่งเมืองชัยปุระ รัฐราชสถาน ประเทศอินเดีย ปัจจุบันสมรสกับปานศักดิ์ รังสิพราหมณกุล มีบุตรจากการสมรสครั้งแรกสองคน