อัลฟอนโซเป็นพระโอรสคนที่สองของพระเจ้าเฟร์นันโดที่ 1 แห่งกัสติยากับพระมเหสี ซันชา พระองค์ได้รับการศึกษาจากไรมุนโดที่ต่อมาได้เป็นอาร์ชบิชอปแห่งปาเลนเซีย และเปโดร อันซูเรซ เคานต์แห่งการ์ริออน เมื่อพระเจ้าเฟร์นันโดสิ้นพระชนม์ในปี ค.ศ. 1065 พระองค์ทิ้งราชอาณาจักรเลออนและบรรณาการที่ได้จากราชอาณาจักรมุสลิมโตเลโดไว้ให้อัลฟอนโซ ทำให้พระเจ้าซันโชที่ 2 พระเชษฐาที่ได้ราชอาณาจักรกัสติยาและบรรณาการจากซาราโกซาเป็นมรดกตั้งตนเป็นศัตรูด้วยความริษยา อัลฟอนโซพ่ายแพ้พระเชษฐาในการทำสมรภูมิสองครั้ง หลังการพ่ายแพ้ครั้งแรกในปี ค.ศ. 1068 ที่ยันตาดา พระองค์หาทางเอาราชอาณาจักรของตนกลับคืนมาได้ แต่หลังการพ่ายแพ้ที่โกลเปเฆราในปี ค.ศ. 1072 พระองค์ถูกจับกุมตัวและถูกขับไล่ออกจากประเทศ ทรงใช้ชีวิตช่วงสั้น ๆ ในเวลานั้นที่ราชสำนักของอัลมะอ์มูน กษัตริย์มุสลิมแห่งโตเลโด ผู้เป็นข้าราชบริวารของพระองค์ ต่อมาไม่นานอูร์รากา พระเชษฐภคินีของอัลฟอนโซ ก่อกบฏในเลออน พระเจ้าซันโชได้ปิดล้อมพระองค์ไว้ในเมืองซาราโกซาที่มีกำแพงล้อมรอบ ในช่วงที่ทำการปิดล้อม พระเจ้าซันโชถูกสังหาร อาจจะด้วยการยุยงของอูร์รากาซึ่งอยู่ฝั่งเดียวกับอัลฟอนโซอย่างชัดเจน นักประวัติศาสตร์สมัยใหม่ยังสันนิษฐานว่าทั้งคู่มีความสัมพันธ์กันแบบผิดทำนองคลองธรรม