พระสันตะปาปาเซเลสตินปกป้องพระราชินีแต่ก็ช่วยพระองค์ได้ไม่มาก ฟิลิปขอให้พระสันตะปาปาประกาศให้การแต่งงานเป็นโมฆะด้วยเหตุผลว่าไม่สมบูรณ์เนื่องจากโดนคุณไสยทำให้เสื่อมสมรรถภาพทางเพศ[1] ฟิลิปไม่เคยใยดีอิงเกอบอร์ก แต่อิงเกอบอร์กยืนกรานว่าการแต่งงานสมบูรณ์แล้ว และพระองค์เป็นพระมเหสีและพระราชินีแห่งฝรั่งเศสอย่างถูกต้องตามกฎหมาย

ฟิลิปแต่งงานกับแอ็กเนสแห่งเมราเนียในเดือนมิถุนายน ค.ศ. 1196 ทว่าในปี ค.ศ. 1198 พระสันตะปาปาคนใหม่ อินโนเซนต์ที่ 3 ประกาศให้การแต่งงานครั้งนี้เป็นโมฆะเนื่องจากการแต่งงานครั้งก่อนยังคงถูกต้องในทางกฎหมาย พระองค์สั่งให้ฟิลิปไล่แอ็กเนสไปและรับอินเกอบอร์กกลับมา อินเกอบอร์กเขียนจดหมายถึงพระองค์ กล่าวว่าถูกทำร้ายและถูกทิ้งให้โดดเดี่ยว และอ้างว่าทรงคิดที่จะฆ่าตัวตายเพราะได้รับการปฏิบัติที่โหดร้าย

ฟิลิปตอบโต้ด้วยการขังอินเกอบอร์กไว้ในชาโตเดต็อมป์ในเอสซอน อินเกอบอร์กถูกขังไว้ในหอคอยเป็นนักโทษ ได้รับอาหารไม่บ่อยนักและบางครั้งก็ไม่เพียงพอ ไม่มีใครได้รับอนุญาตให้เข้าพบพระองค์[3] ยกเว้นครั้งเดียวที่อนุศาสนาจารย์ชาวเดนมาร์กสองคนได้รับอนุญาตให้เข้าพบพระองค์ได้ ขณะเดียวกันฟิลิปพาแอ็กเนสกลับมาและอยู่กินกันต่อไป ทรงมีพระโอรสธิดาด้วยกันสองคน เป็นพระโอรสหนึ่งคน การฝ่าฝืนคำสั่งทำให้ฟิลิปถูกตัดขาดออกจากศาสนาในปี ค.ศ. 1200 และเมื่อกษัตริย์ไม่ยอมเชื่อฟัง พระสันตะปาปาอินโนเซนต์ที่ 3 จึงให้ฝรั่งเศสโดนคำสั่งห้ามในปี ค.ศ. 1199 จนถึงเดือนกันยายน ค.ศ. 1200 เมื่อฟิลิปกล่าวว่าจะยอมเชื่อฟัง ต่อมาพระองค์ผิดคำสัญญานั้น แอ็กเนสตายในปีต่อมา

ในปี ค.ศ. 1201 ฟิลิปขอให้พระสันตะปาปาประกาศให้พระโอรสธิดาของพระองค์เป็นบุตรตามกฎหมาย และพระสันตะปาปายอมสนับสนุนพระองค์ในทางการเมือง ทว่าต่อมาในปีนั้นฟิลิปขอให้ประกาศให้การแต่งงานเป็นโมฆะอีกครั้ง โดยอ้างว่าอิงเกอบอร์กพยายามทำเสน่ห์ใส่พระองค์ในคืนแต่งงานจนทำให้พระองค์ไม่สามารถทำให้การแต่งงานสมบูรณ์ได้ พระองค์จึงขอหย่าด้วยข้อหาใช้เวทมนตร์คุณไสย ความพยายามครั้งนี้ล้มเหลวเช่นเคย