อาวีญงกลายมาเป็นที่ประทับของพระสันตะปาปาในปี ค.ศ. 1309 เมื่อแบร์ทร็อง เดอ ก็อต ในฐานะสมเด็จพระสันตะปาปาเคลเมนต์ที่ 5 ไม่มีพระประสงค์ที่จะเผชิญกับเหตุการณ์ร้ายต่างในกรุงโรมหลังจากที่ทรงได้รับเลือกในปี ค.ศ. 1305 พระองค์จึงทรงย้ายสภาปกครองของพระสันตะปาปา (Papal Curia) ไปตั้งที่อาวีญงในสมัยที่ต่อมาเรียกกันว่า "สมณสมัยปาปาซี" พระสันตะปาปาเคลเมนต์ประทับเป็นแขกของอารามคณะดอมินิกันในอาวีญง สมเด็จพระสันตะปาปาจอห์นที่ 22 พระสันตะปาปาองค์ต่อมา ทรงก่อตั้งราชสำนักอันหรูหราขึ้นที่นั่น แต่สมเด็จพระสันตะปาปาเบเนดิกต์ที่ 12 พระสันตะปาปาองค์ต่อมาทรงเป็นผู้ริเริ่มการบูรณปฏิสังขรณ์วังบิชอปเก่าอย่างจริงจัง และกระทำต่อมาในสมัยของสมเด็จพระสันตะปาปาเคลเมนต์ที่ 6

ที่ตั้งของวังอยู่ทางเนินหินทางตอนเหนือของตัวเมืองที่มองไปทางแม่น้ำโรน เดิมวังของบิชอปแห่งอาวีญง การก่อสร้างแบ่งเป็นสองช่วง ช่วงแรกเรียกว่า "วังเดิม" (Palais Vieux) และช่วงที่สองเรียกว่า "วังใหม่" (Palais Neuf) เมื่อสร้างเสร็จเนื้อที่ของวังก็ขยายขึ้นเป็น 11,000 ตาราเมตร การก่อสร้างใช้งบประมาณไปเป็นจำนวนมหาศาลที่มาจากเงินรายได้ส่วนใหญ่ของพระสันตะปาปาในช่วงนั้น

"วังเดิม" ก่อสร้างโดยสถาปนิกปีแยร์ ปัวซ็องตามโองการของสมเด็จพระสันตะปาปาเบเนดิกต์ที่ 12 ผู้ทรงสั่งให้รื้อทั้ง "วังเดิม" ทั้งหมดและสร้างวังใหม่และระเบียงฉันนบถที่ขนาดใหญ่กว่าเดิมเป็นอันมากขึ้นแทนที่ สิ่งก่อสร้างใหม่ได้รับการสร้างเสริมอย่างแข็งแรงเพื่อต่อต้านข้าศึก ที่ประกอบด้วยปีกสี่ปีกที่มีหอสูงประกบ

ตัววังมาขยายต่อไปในสมัยของสมเด็จพระสันตะปาปาเคลเมนต์ที่ 6, สมเด็จพระสันตะปาปาอินโนเซนต์ที่ 6 และสมเด็จพระสันตะปาปาเออร์บันที่ 5 ที่กลายมารู้จักกันว่า "วังใหม่" พระสันตะปาปาเคลเมนต์ที่ 6 ทรงจ้างฌาน เดอ ลูฟวร์ให้สร้างหอใหม่, ตึกอีกหลังหนึ่ง และชาเปลที่ยาว 52 เมตร ต่อมาพระสันตะปาปาอินโนเซนต์ก็ทรงสร้างหอใหม่อีกสองหอ พระสันตะปาปาเออร์บันสร้างลานหลักเสร็จที่เรียกว่า Court d'Honneur") และสิ่งก่อสร้างรอบลาน การตกแต่งภายในทำอย่างหรูหราด้วยจิตรกรรมฝาผนัง, พรมแขวนผนัง, จิตรกรรม, ประติมากรรม และเพดานไม้

พระสันตะปาปาย้ายราชสำนักจากอาวีญงกลับไปโรมในปี ค.ศ. 1377 ที่ทำให้เกิดเหตุการณ์ที่เรียกว่า "ศาสนเภทตะวันตก" (Western Schism) ที่ฝ่ายอาวีญงพยายามตั้งตนเป็นอิสระโดยการเลือกตั้งพระสันตะปาปาของตนเองที่เรียกว่า "พระสันตะปาปาเท็จ" (antipope) สององค์ที่รวมทั้งสมเด็จพระสันตะปาปาเคลเมนต์ที่ 7 แห่งอาวีญง และสมเด็จพระสันตะปาปาเบเนดิกต์ที่ 13 แห่งอาวีญง อาวีญงจึงเป็นที่ประทับของพระสันตะปาปาเท็จจนกระทั่งปี ค.ศ. 1408 เมื่อพระสันตะปาปาเบเนดิกต์ที่ 13 ทรงถูกจำขังในพระราชวังอยู่สิบปี พระราชวังอาวีญงอยู่ในมือของพระสันตะปาปาเท็จอยู่หลายปี ระหว่างนั้นก็ถูกล้อมระหว่างปี ค.ศ. 1410 ถึงปี ค.ศ. 1411 แต่ต่อมาก็ได้รับคืนไปเป็นของพระสันตะปาปาในปี ค.ศ. 1433

แม้ว่าวังพระสันตะปาปาจะได้รับคืนให้อยู่ภายใต้การปกครองของพระสันตะปาปาอีกเป็นเวลา 350 ปีต่อมา แต่สภาพของวังก็ค่อย ๆ เสื่อมโทรมลงแม้ว่าจะมีการบูรณปฏิสังขรณ์ขึ้นในปี ค.ศ. 1516 ก็ตาม เมื่อการปฏิวัติฝรั่งเศสปะทุขึ้นในปี ค.ศ. 1789 วังพระสันตะปาปาก็ถูกยึดโดยนักปฏิวัติแม้ว่าสภาพของวังจะอยู่ในสภาพที่เสื่อมโทรมอยู่แล้วก็ตาม ในปี ค.ศ. 1791 วังพระสันตะปาปาก็กลายเป็นที่เกิดเหตุการสังหารหมู่ของฝ่ายที่เป็นปฏิปักษ์ต่อการปฏิวัติ ร่างของผู้ที่ถูกสังหารถูกโยนลงไปใน Tour des Latrines ของ "วังใหม่"

ต่อมาวังก็ถูกยึดโดยรัฐบาลของนโปเลียนเพื่อใช้เป็นค่ายทหารและคุก ตัววังก็ได้รับความเสียหายเพิ่มขึ้นอีกระหว่างการถูกยึดโดยเฉพาะจากฝ่ายที่ต่อต้านนักบวชของสาธารณรัฐฝรั่งเศสที่ 3 เมื่อสิ่งตกแต่งภายในและงานไม้ต่างๆ ถูกขนย้ายออกไปเพื่อทำเป็นโรงม้า จิตรกรรมฝาผนังถูกฉาบทับและถูกทำลายไปเป็นส่วนใหญ่ วังเป็นสถานที่ราชการของรัฐบาลฝรั่งเศสมาจนถึงปี ค.ศ. 1906 เมื่อมาเปลี่ยนฐานะเป็นพิพิธภัณฑ์ และตั้งแต่นั้นมาวังก็ได้รับการบูรณปฏิสังขรณ์มาโดยตลอด

ในปัจจุบันวังส่วนใหญ่เปิดให้ประชาชนเข้าชมได้ และเป็นสถานที่ที่ใช้ในการประชุมสัมมนา และเก็บเอกสารสำคัญของฝรั่งเศส