อาสนวิหารแรกที่สร้างสร้างบนสถานที่เดิมเป็นศาสนสถานก่อนสมัยศาสนาคริสต์ ในอาสนวิหารอ็องกูแลมใช้เวลาสร้างทั้งหมดเริ่มสร้างเป็นครั้งแรกเมื่อปี ในคริสต์ศตวรรษที่ 4 วัดถูกทำลายเมื่อโคลวิสที่ 1 เข้ามายึดเมืองหลังจากยุทธการที่วูเย ในปี ค.ศ. 507 อาสนวิหารต่อมาได้รับการสถาปนาในปี ค.ศ. 560 แต่ก็มาถูกเผาโดยชาวไวกิงและนอร์มันราวสองร้อยปีต่อมา

อาสนวิหารที่สามสร้างขึ้นภาพใต้การอำนวยการของบิชอปกรีมออาร์ อธิการอารามแซ็ง-ปีแยร์แห่งบร็องโตม และได้รับเสกในปี ค.ศ. 1017 เมื่อต้นคริสต์ศตวรรษที่ 12 ประชาชนเห็นพ้องกันว่าโบสถ์มีขนาดเล็กไปกว่าฐานะของเมือง การออกแบบอาสนวิหารใหม่ทำโดยบิชอปเฌราร์ที่ 2 ผู้เป็นบุคคลสำคัญคนหนึ่งของฝรั่งเศสในยุคนั้นผู้เป็น ศาสตราจารย์ สมณทูตสี่พระองค์ และเป็นศิลปินผู้มีฝีมือด้วย งานสร้างอาสนวิหารเริ่มขึ้นราวปี ค.ศ. 1110 และสิ้นสุดลงในปี ค.ศ. 1128

ลักษณะรูปทรงของอาสนวิหารก็ได้เปลี่ยนแปลงไปจากการซ่อมแซมและขยายตัวในช่วงหลายร้อยปีที่ตามมา เช่นหอระฆังที่ถูกทำลายไประหว่างสงครามศาสนาในคริสต์ศตวรรษที่ 16 นอกจากนั้นก็ยังมีการเปลี่ยนแปลงระหว่างการบูรณปฏิสังขรณ์โดยปอล อาบาดีระหว่างปี ค.ศ. 1866–1885 ที่รวมทั้งการสร้างหอใหม่สองหอที่คลุมด้วยหลังคาทรงกรวย จะมีก็แต่มุขด้านตะวันตกหรือด้านหน้าเท่านั้นที่ส่วนใหญ่ยังคงเป็นสถาปัตยกรรมยุคกลาง