ฮาโรลด์ทรงเสกสมรสด้วยวิธี ลักพาเจ้าสาว (More danico) กับ เอลด์จิธ สวอนเน็ค (Edith Swanneck หรือ Edith Swanneschals) และมีโอรสธิดาด้วยกันอย่างน้อย 6 องค์ การสมรสครั้งนี้เป็นที่ยอมรับกับโดยทั่วไปยกเว้นจากทางสถาบันศาสนา ตามกฎการแต่งงานแบบลักพาโอรสธิดาที่เกิดมาไม่ถือว่าเป็นลูกนอกสมรส พระธิดาองค์หนึ่งคือกีธา ผู้ต่อมาเป็นพระชายาของวลาดิเมียร์ โมโนมาคห์ แกรนด์ดยุคแห่งคีวาน รุส' (Vladimir Monomakh) การแต่งงานของกีธาทำให้ฮาโรลด์มีเชื้อสายเป็นพระเจ้าแผ่นดินอังกฤษต่อมา

ราวเดือนมกราคม ค.ศ. 1066 ฮาโรลด์ทรงเสกสมรสกับอีดิธ (Ealdgȳð) (ลูกสาวของเอลฟการ์ เอิร์ลแห่งเมอร์เซีย (Ælfgār, Earl of Mercia)) ผู้เป็นภรรยาหม้ายของ Gruffydd ap Llywelyn เจ้าชายแห่งเวลส์ พระราชินีอีดิธมีโอรสสองคนซึ่งอาจจะเป็นแฝดชื่อ ฮาโรลด์ และอุลฟ์ ที่เกิดราวเดือนพฤศจิกายน ค.ศ. 1066 เดือนหนึ่งหลังจากฮาโรลด์เสด็จสวรรคต ทั้งฮาโรลด์ และอุลฟ์มีชีวิตรอดมาจนโตแต่คงมีชีวิตอย่างผู้ลี้ภัยนอกราชอาณาจักรอังกฤษ หลังจากที่พระเจ้าฮาโรลด์เสด็จสวรรคต กล่าวกันว่าพระราชืนีอีดิธหนีไปหาพระเชษฐา เอ็ดวิน เอิร์ลแห่งเมอร์เซีย และ มอร์คาร์ เอิร์ลแห่งนอร์ทธัมเบรีย ทั้งสองคนทำสัญญาสงบศึกกับดยุควิลเลียม แต่ก็มิได้อยู่กันอย่างสงบสุขนานนักก่อนที่ จะก่อการปฏิวัติต่อดยุกวิลเลียมแห่งนอร์มังดี แต่ก็พ่ายแพ้และเสียทั้งทรัพย์สินและชีวิต จากนั้นพระราชืนีอีดิธก็อาจจะหนีออกจากราชอาณาจักรอังกฤษ (อาจจะทรงหนีไปกับกีธาพระมารดาของฮาโรลด์ หรือกีธาพระธิดาของฮาโรลด์)