พระเจ้าอัลฟอนโซทรงเป็นที่จดจำในด้านการทหารมากกว่าการเมืองการปกครอง สี่ปีแรกของการเป็นกษัตริย์ ทรงใช้เวลาไปกับการทำสงครามกับชาวมุสลิมแทบไม่ขาด ในปี ค.ศ. 1105 ทรงพิชิตเอเฆอาและเตาสเต และเสริมความแข็งแกร่งให้แก่กัสเตยาร์และฆัสลิโบลซึ่งเป็นอาณาเขตของชาวคริสต์ ในปี ค.ศ. 1106 ทรงคว้าชัยเหนืออัลมุสตะอินแห่งซาราโกซาที่บันติเอร์รา และในปี ค.ศ. 1107 ทรงยึดตามาริเตเดลิเตราและเอสเตบันเดลาลิเตรา ความขัดแย้งเรื่องการอ้างสิทธิ์ในอาณาจักรทั้งสี่ (อารากอน, นาวาร์, กัสติยา และเลออน) ในปี ค.ศ. 1109 ทำให้การพิชิตอาณาเขตมุสลิมของพระองค์หยุดนิ่งไปหลายปี แต่ในปี ค.ศ. 1117 ทรงเตรียมพร้อมที่จะสู้รบอีกครั้ง

ในปี ค.ศ. 1118 สภาตูลูสประกาศสงครามครูเสดกับราชอาณาจักรมุสลิมในสเปน กองทัพของพระเจ้าอัลฟอนโซรีบรุกคืนไปทั่วคาบสมุทรไอบีเรีย และมาถึงซาราโกซาในเดือนพฤษภาคม หลังการปิดล้อมอันยาวนาน สุดท้ายเมืองก็แตกในวันที่ 18 ธันวาคม พระเจ้าอัลฟอนโซได้ประกาศให้ซาราโกซาเป็นเมืองหลวงของพระองค์ทันที ปีต่อมาทรงยึดดินแดนเพิ่ม ก่อนจะกลับไปซาราโกซาในปี ค.ศ. 1120 เพื่อขับไล่กองทัพมุสลิมที่พยายามจะยึดเมืองกลับไป

ตลอดระยะเวลาสิบห้าปี ทรงรุกรานอาณาเขตมุสลิมอย่างต่อเนื่อง เมืองต่างๆ ตกอยู่ภายใต้การควบคุมของพระองค์มากขึ้น อุปสรรคที่ขัดขวางความสำเร็จของพระองค์คือการขัดแย้งกับผู้นำของราชอาณาจักรคริสเตียนแห่งอื่นๆ ในสเปนตอนเหนือและฝรั่งเศส ซึ่งมีหลายครั้งที่ทำให้พระองค์ต้องทิ้งการสู้รบไปปกป้องอาณาเขตของตนเอง