ฮิลารี ดัฟ เกิดที่ ฮูสตัน, เท็กซัส ในวันที่ 28 กันยายน ค.ศ. 1987[3] เธอเป็นลูกสาวคนที่ 2 ของ ซูซาน ดัฟ และ โรเบิร์ต ดัฟ เธอมีพี่สาวด้วยหนึ่งคน เฮย์ลีย์ ดัฟ ที่เป็นนักแสดงและนักร้อง ตั้งแต่เธออายุได้ 6 ขวบ แม่ของเธอให้การสนับสนุนในการเป็นนักแสดงของเธอมาก จึงมักจะให้เธอร่วมกิจกรรมการแสดงต่างๆ ร่วมกับพี่สาวอยู่บ่อยๆ เธอและพี่สาวได้แสดงในการแสดงบัลเล่ต์ The Nutcracker Suite กับคณะ Columbus BalletMet ใน ซาน อันโตนีโอ[3] หลังจากนั้นมุมมองการสู่วงการเริ่มกว้างไกลออกไป เธอกับแม่และพี่สาว จึงตัดสินใจเดินทางย้ายมาสู่แคลิฟอร์เนีย และหลังจากนั้นไม่ถึงปี เธอกับพี่สาวก็เริ่มไปคัดตัวตามรายการโทรทัศน์ต่าง ๆ[4]