เจ้าชายชาร์ลทรงเสกสมรสกับ โจน ดิลลอน ซึ่งพระองค์เป็นสามีคนที่ 2 ของนางดิลลอน โดยภายหลังสมรสแล้ว เธอได้รับพระนามและพระอิสริยยศที่ เฮอร์รอยัลไฮนีส เจ้าหญิงชาร์ลแห่งลักเซมเบิร์ก ซึ่งขณะนั้นพระชายาของพระองค์มีลูกติดกับสามีคนเก่า โดยชื่อ โจน โมเซลลี ซึ่งเจ้าชายชาร์ลทรงอุปถัมภ์และรักประดุจพระบุตรแท้ๆ ซึ่งต่อมาพระองค์และพระชายามีพระบุตร 2 พระองค์ดังนี้

1. เจ้าหญิงชาร์ลอตต์แห่งลักเซมเบิร์ก
2. เจ้าชายโรเบิร์ตแห่งลักเซมเบิร์ก

ต่อมาเมื่อเจ้าชายชาร์ลสิ้นพระชนม์ลงเมื่อวันที่ 26 สิงหาคม พ.ศ. 2520 เจ้าหญิงชาร์ลหรือนางดิลลอนได้ขอพระราชทานลาออกจากพระอิสริยยศเพื่อเสกสมรสใหม่กับ ฟิลิป เดอ นอยด์เลส ดยุกแห่งมูร์เชียร์