พระวรวงศ์เธอ พระองค์เจ้าพีรพงศ์ภาณุเดช เสกสมรสกับหม่อมซิริล ภาณุพันธุ์ ณ อยุธยา (สกุลเดิม เฮย์คอค)[5] ชาวอังกฤษ เมื่อวันที่ 12 มกราคม พ.ศ. 2481 ด้วยความที่พระองค์เจ้าพีรพงศ์ภาณุเดชเป็นที่รู้จัก บุคลิกดี สามารถตรัสได้คล่องทั้งภาษาอังกฤษและภาษาฝรั่งเศส และดำรงพระองค์อย่างเศรษฐี ทำให้มีผู้หญิงเข้าหาพระองค์ หม่อมซิริลทำใจไม่ได้ที่พระองค์มีหญิงอื่น แม้จะไม่ทรงจริงจังด้วยนัก แต่ก็เป็นความเดือดร้อนของภรรยา ทั้งสองจึงแยกกันอยู่พักหนึ่งเพื่อระงับจิตใจ

ในระหว่างที่พระองค์ทรงแข่งขับรถที่ประเทศอาร์เจนตินา ก็ทรงพบกับเซเลีย โฮวาร์ด และเมื่อพระองค์ได้รับบาดเจ็บจากการแข่งรถ ก็มีเซเลียคอยปรนนิบัติ จนที่สุดพระองค์ก็ทรงพาเซเลียกลับอังกฤษด้วยกัน และประทับอยู่กับเธอ ไม่ได้เสด็จไปหาหม่อมซิริล หม่อมซิริลจึงตัดสินใจหย่าขาดจากพระองค์ตามกฎหมาย ในปี พ.ศ. 2492 และเสกสมรสกับเซเลีย ที่ปารีส ประเทศฝรั่งเศส เมื่อวันที่ 18 ธันวาคม พ.ศ. 2494[6] มีพระเจ้าวรวงศ์เธอ พระองค์เจ้าจุลจักรพงษ์ และหม่อมเอลิสะเบธ จักรพงษ์ ณ อยุธยา เสด็จร่วมงานด้วย จากนั้นเซเลียใช้ชื่อว่า “หม่อมชลิตา ภาณุพันธุ์ ณ อยุธยา”

ปลายปี พ.ศ. 2497 พระองค์ทรงเห็นว่าพ้นยุคที่จะทรงแข่งรถแล้ว ประกอบกับหม่อมชลิตาได้ให้กำเนิดพระโอรสคนแรก พระองค์จึงตัดสินพระทัยอำลาชีวิตนักแข่ง แล้วทรงพาครอบครัวกลับมาประทับที่ประเทศไทย เมื่อปี พ.ศ. 2499 อีก 7 เดือนต่อมาพระองค์ทรงหย่ากับหม่อมชลิตา โดยตกลงกันว่า พระโอรสคนเดียวให้อยู่ภายใต้การดูแลของหม่อมชลิตาจนอายุครบ 21 ปี เนื่องจากก่อนหน้าที่กลับมาประเทศไทยพระองค์ได้ทรงพบปะกับสาลิกา กะลันตานนท์ พนักงานต้อนรับบนเครื่องบินชาวไทย ซึ่งทำให้หม่อมชลิตาหึงหวง พระองค์เสกสมรสกับสาลิกาในปี พ.ศ. 2500[6] และหย่าขาดกันในปี พ.ศ. 2506

นอกจากนั้นยังมีหม่อมอีกคน คืออรุณี จุลทะโกศล[6] และหย่าขาดกันในปี พ.ศ. 2507

ในปี พ.ศ. 2510 พระองค์เสกสมรสกับชวนชม ไชยนันท์[6] ก่อนหย่าขาดกันในปี พ.ศ. 2523

ในปี พ.ศ. 2526 พระองค์ได้เสด็จไปยังประเทศอังกฤษอีกครั้ง เพื่อแวะหาอดีตหม่อมซิริล กระทั่งสิ้นพระชนม์ในปี พ.ศ. 2528

พระองค์มีพระโอรสและพระธิดาทั้งหมด 3 คนเกิดจากหม่อมชลิตา 1 คน คือ

• หม่อมราชวงศ์พีรเดช ภาณุพันธุ์

เกิดจากหม่อมชวนชม 2 คน ได้แก่

• หม่อมราชวงศ์ระพีพร ภาณุพันธุ์
• หม่อมราชวงศ์พีรานุพงศ์ ภาณุพันธุ์