อาสนวิหารแห่งนี้ได้รับการสร้างขึ้นในสมัยคริสต์ศตวรรษที่ 11 โดยมุขนายกเฌโร เดอ การ์ดายัก ซึ่งสร้างบนสถานที่ที่เคยเป็นที่ตั้งของโบสถ์เก่าที่สร้างในสมัยคริสต์ศตวรรษที่ 7 เพื่ออุทิศแด่นักบุญดีดีเยแห่งกาออร์ ได้รับการเสกโดยสมเด็จพระสันตะปาปาคาลิกซ์ตุสที่ 2 เมื่อวันที่ 10 กันยายน ค.ศ. 1119 และเสร็จสมบูรณ์ในปี ค.ศ. 1135 ลักษณะของโบสถ์ซึ่งตั้งอยู่กลางเมืองนั้น มีความพิเศษคือกำแพงอันหนาราวกับป้อมปราการ ซึ่งในสมัยนั้นบิช็อปหรือมุขนายกถือเป็นผู้ปกครองและมีอำนาจสูงสุดในการบริหารตามระบบศักดินาของเมืองกาออร์

หน้าบันของอาสนวิหาร ซึ่งบูรณะอีกครั้งในปี ค.ศ. 1316–1324 โดยกีโยม เดอ ลาบรู พระญาติสนิทของสมเด็จพระสันตะปาปาจอห์นที่ 22 ได้กล่าวถึงอาสนวิหารแห่งนี้ว่ามีลักษณะเป็นปราการอันแข็งแรงหนาแน่น ประกอบด้วยซุ้มทางเข้าซึ่งมีหอนาฬิกาอยู่ด้านบนซึ่งถูกขนาบปิดด้วยหอคอยทั้งสองข้าง มีหน้าต่างหกบานบริเวณด้านหน้าซึ่งมีลักษณะแคบกว่าปกติ องค์ประกอบที่แสดงให้เห็นถึงความเป็นโบสถ์ทางคริสต์ศาสนานั้น มีเพียงประตูทางเข้าอันสวยงามตกแต่งเป็นสามชั้น พร้อมด้วยระเบียงแนบขนาดเล็กอยู่ด้านบนประตูทางเข้า และเหนือขึ้นไปเป็นหน้าต่างกุหลาบ หลังคาเป็นแบบโดมอยู่ทางทิศตะวันตกเฉียงใต้ พร้อมทั้งหน้าบันทางเข้าที่มีลักษณะเป็นป้อมปราการ และประตูทางเข้าแบบสถาปัตยกรรมโรมาเนสก์ สร้างขึ้นระหว่างปี ค.ศ. 1140–1150 ถือเป็นอีกหนึ่งปราการของวิหารทางทิศเหนือ