เธอคบหากับนักร้อง แอรอน คาร์เตอร์ ในปี 2001 พวกเขาพบกันที่กองถ่ายละคร Lizzie McGuire ในตอนที่ คาร์เตอร์ มารับเชิญในตอนพิเศษวันคริสมาตส์ ทั้งคู่คบหากันได้ประมาณ 2 ปี ก่อนที่เขาจะไปคบหากับ ลินด์เซย์ โลฮาน ในระหว่างที่เขายังคบกับเธอ ทำให้ทั้งคู่จบสัมพันธ์กันทันที ซึ่งเป็นฉนวนที่ทำให้เธอกับดาราร่วมรุ่น ลินด์เซย์ โลฮาน มีปัญหากัน ใน Celebrith Death Macth เมื่อวันที่ 23 มีนาคม 2007 รายการหยิบยกปัญหาความสัมพันธ์ของทั้ง 2 สาวมาเล่นสนุก จนในปีเดียวนั้น ทั้งคู่ต่างก็ออกมาให้ข่าวล่าสุดเกี่ยวกับสัมพันธ์ของทั้งคู่ โดยเธอกล่าวกับ People Magazine ในปาร์ตี้เปิดอัลบั้ม Dignity ของเธอว่า "ลินด์เซย์ เธอเป็นคนที่สนุก และเป็นสาวที่น่ารักคนหนี่ง ทีเดียว" จึงเป็นข้อสรุปว่าทั้งคู่ไม่มีเรื่องบาดหมางกันอีกต่อไป

หลังจากที่เลิกลากับคนรักเก่า ในปี 2004 เธอก็เดทกับนักร้องวง Good Charlotte โจเอล แมดเดน หลังจากนั้นเธอก็โดนหนังสือแท็บลอยด์ต่างๆ เล่นงานเธอ ประโคมข่าวเสียหาย รวมทั้งลงเรื่องการแตกแยกของครอบครัวเธอ และลงข้อความว่าเธอยังบริสุทธิ์อยู่ในเดือนมิถุนายน 2006 ต่อมาในเดือนพฤศจิกายน 2006 เธอจบความสัมพันธ์ 2 ปีกับ โจเอล แมดเดน มีสื่อหลายสื่อต้องการที่จะทราบสาเหตุ แต่เธอก็ปฏิเสธที่จะตอบคำถามเกี่ยวกับเรื่องนี้ เธอบอกในรายการ MuchMusic ว่า "แน่นอน ฉันไม่อยากจะพูดถึงเรื่องนี้อีกต่อไป"

ในปี 2007 เธอมีโอกาสไปถ่ายแบบร่วมกับนักกีฬา NHL (National Hockey League) ไมค์ คอมรี หลังจากนั้นทั้งคู่ก็คบหาดูใจกัน เธอชอบที่จะไปดูแฟนหนุ่มแข่งที่สนาม ในวันที่ครบ 20 ปีของเธอ คอมรีเซอร์ไพร์สด้วยการซื้อรถใหม่ราคากว่า 1 แสนเหรียญเป็นของขวัญให้เธอ

เธอยังชอบทำการกุศลอีกด้วย เธอเป็นสมาชิกช่วยเหลือสัตว์ป่า และเป็นหนึ่งในสมาชิกชมรม Kids with a Cause เธอบริจาคเงินสดกว่า 2.5 แสนเหรียญ ช่วยเหลือผู้ประสบภัยพายุเฮอร์ริเคนแคทรีน่า ในปี 2005 เธอบริจาคเงินอีกกว่า 2.5 ล้านเหรียญเพื่อซื้ออาหารให้แก่ผู้ประสบภัยพายุเฮอร์ริเคนแคทรีน่าในรัฐทางตอนใต้ ในเดือนสิงหาคม 2006 เธอลงพื้นที่รัฐนิวออร์ลีนส์ เยี่ยมและช่วยเหลือด้านอุปกรณ์การศึกษาและอาหารแก่โรงเรียนในพื้นที่ในโครงการ USA Harvest

ในเดือนสิงหาคม 2005 เธอต้องไปทำฟันใหม่ หลังจากที่โดนไมค์โครโฟนกระแทกในระหว่างแสดงคอนเสิร์ต เธอกล่าวว่า "ฟันของฉันไม่ค่อยแข็งแรงนัก และมันปิ่นไปหลังจากที่โดนไมค์โครโฟนกระแทกอย่างจัง ฉันจึงต้องไปถอนฟันออก 2 ซี่ เพื่อทำใหม่" ซึ่งตอนนี้เธอจึงไปทำฟันทั้งใหม่ ให้มีขนาดและรูปร่างที่สม่ำเสมอกันเหมือนกับฟันจริงๆของเธอ ในปี 2006 ครอบครัวของเธอ ถึงจุดแตกหักหลังจากที่พ่อและแม่ของเธอแต่งงานอยู่ด้วยกันมานานกว่า 22 ปีต้องสิ้นสุดลง โดยเธอบอกว่าเธอเสียใจมาก ที่รู้ว่าพ่อมีผู้หญิงคนอื่น เรื่องราวนี้จึงเป็นแรงบันดาลใจในเพลงของเธอ 2 เพลง คือ Stranger และ Gypsy Woman

ในเดือนตุลาคม 2006 เธอต้องไปขออำนาจศาลคุ้มครองตัวเธอ จากแฟนโรคจิตชาวรัสเชีย แม็กซิม มีอาโคฟสกี ที่เดินทางไกลเพื่อที่จะมาใกล้ชิดและติดตามเธอไปทุกๆที่ นอกจากนั้นทางเจ้าหน้าที่สืบสวนยังพบเจอแผนฆาตกรรมของเขา ที่จะลงมือฆ่าเธอ พร้อมๆกับคนที่ขัดขวางเขาไม่ให้ใกล้เธอทั้งหมด โดยเขายังเคยวางแผงที่จะซื้ออาวุธมาทำร้ายตัวเอง หวังที่จะเรียกร้องความสนใจอย่างตัวเธอด้วย ทางเจ้าหน้าที่จึงจับกุมตัวไว้ พร้อมกับตั้งวงเงินประกันตัวสูงถึง 2 แสนดอลลาร์สหรัฐ่

ในปี 2005 เธอมีรายได้ทั้งหมดกว่า 15 ล้านเหรียญ แล้วในเดือนธันวาคม 2007 นิตยสาร Forbes จัดอันดับคนดังที่อายุไม่เกิน 25 ปีที่มีรายได้มากที่สุด 20 คน เธอติดอยู่ในอันดับที่ 7 ของการจัดอันดับครั้งนี้ โดยมีรายได้กว่า 12 ล้านเหรียญในปีนั้น

ในเดือนกุมภาพันธ์ 2010 ไมค์ คอมรี แฟนหนุ่มที่คบหากันเกือบ 3 ปี ได้ขอหมั้นเธอแบบเซอร์ไพร์สที่โรงแรมหรูบนเกาะฮาวาย สร้างความแปลกใจกับตัวเธอ รวมทั้งครอบครัวที่อยู่ในเหตุการณ์ด้วย[29]

14 สิงหาคม 2010 เธอกับแฟนหนุ่ม ไมค์ คอมรี ได้เข้าวิวาห์กันอย่างเป็นส่วนตัวที่แมนชั่นส่วนตัวใน ซานต้า บาบาร่า, แคลิฟอร์เนีย โดยภายในงานวิวาห์ถูกจัดขึ้นอย่างเป็นส่วนตัว มีการเชื้อเชิญแขกที่เป็นเฉพาะเพื่อนและเครือญาติจำนวน 100 คนเท่านั้น เธอเข้าพิธีวิวาห์พร้อมกับชุดแต่งงานของนักออกแบบชื่อดังอย่าง วีร่า แวง โดยหลังจากการแต่งงาน ทั้งคู่ก็เดินทางไปฮันนีมูนเป็นการส่วนตัวเลยในทันที[30]

14 สิงหาคม 2011 เธอได้ฉลองครบรอบแต่งงาน 1 ปีเต็ม กับแฟนหนุ่ม ไมค์ คอมรี พร้อมกับประกาศข้อความผ่านทางเว็บไซต์อย่างเป็นทางการของเธอว่า ขณะนี้ได้ตั้งครรภ์ลูกคนแรกแล้ว [31]

20 มีนาคม 2012 เธอได้ให้กำเนิดลูกชายคนแรกกับสามี ไมค์ คอมรี ซึ่งมีชื่อว่า ลูกา ครูซ คอมรี[32]

10 มกราคม 2014 เธอได้โพสต์ข้อความผ่านทวิตเตอร์ ชี้แจงเกี่ยวกับความสัมพันธ์กับสามี ไมค์ คอมรี ที่เดินทางมาถึงจุดที่ต้องตัดสินใจและแยกทางกัน โดยเขียนข้อความเอาไว้ว่า

ตอนนี้ฉันกับไมค์เรากำลังนั่งคุยกันอยู่ เรารู้สึกปลาบปลื้มยินดีกับความปรารถนาดีและกำลังใจที่ทุกคนให้มาตลอด วันนี้ไม่ใช่วันที่ง่ายเลย แต่เราจะผ่านมันไปให้ได้ด้วยกัน - @hilaryduff

ภายหลังจากข้อความดังกล่าว สื่อบันเทิงทั่วโลกได้นำเสนอข่าวว่า เธอกับสามีได้แยกทางกันอย่างเป็นทางการ ภายหลังจากใช้ชีวิตแต่งงานร่วมกัน 3 ปี เป็นการหย่าร้างและจบชีวิตคู่กันด้วยดี ยังคงเป็นเพื่อนและพ่อแม่ที่ดีของลูกชายต่อไป อย่างไรก็ตาม การหย่าร้างของทั้งคู่ สร้างความประหลาดใจแก่ทุกคน เนื่องจากที่ผ่านมาไม่เคยมีสัญญาณใดๆ บ่งบอกว่าทั้งคู่กำลังมีปัญหาชีวิตสมรส[33]

ในช่วงต้นปี 2017 เธอได้เริ่มต้นความสัมพันธ์ครั้งใหม่กับนักร้อง-นักแต่งเพลง แมทธิว โคมา โดยทั้งคู่รู้จักจากการร่วมงานกันในอัลบั้มเพลงชุดที่แล้วของเธอ[34] ต่อมาในเดือนมิถุนายน 2018 ทั้งคู่ได้ประกาศว่ากำลังจะมีลูกด้วย และเธอให้กำเนิดลูกสาว ที่มีชื่อว่า แบงก์ส ไวโอเลต แบลร์ ในเดือนตุลาคมปีเดียวกัน ในเวลาต่อมา ทั้งคู่ได้เข้าพิธีสมรสกันอย่างเรียบง่าย ในวันที่ 21 ธันวาคม 2019 และในเดือนตุลาคม 2020 เธอได้ประกาศตั้งครรภ์ลูกคนที่ 3[35]