คาโรลีเนอย้ายไปประทับที่ประทับส่วนพระองค์ที่ชาร์ลตันและต่อมาที่คฤหาสน์มองตากิวที่เป็นคฤหาสน์ของเอิร์ลแห่งแซนด์วิชที่แบล็คฮีธทางตะวันออกเฉียงใต้ของลอนดอน เมื่อไม่ทรงต้องอยู่ในกรอบของพระสวามีหรือตามข่าวเล่าลือว่าในกรอบของพันธสัญญาของการสมรส คาโรลีเนอก็ทรงจัดการเลี้ยงผู้ใดก็ได้ที่โปรด[17] พระองค์ตรัสหยอกล้อกับนายพลเรือซิดนีย์ สมิธ และกัปตัน ทอมัส แมนบีย์ และอาจจะทรงมีความสัมพันธ์กับนักการเมืองจอร์จ แคนนิง[18]

พระธิดาเจ้า หญิงชาร์ลอตต์ตกอยู่ในความดูแลของครูพี่เลี้ยงในคฤหาสน์ไม่ไกลจากคฤหาสน์มองตากิวที่คาโรลีเนอมักจะเสด็จไปเยี่ยม[19] การมีพระธิดาเพียงพระองค์เดียวดูเหมือนจะไม่พอเพียง คาโรลีเนอทรงรับอุปการะเด็กยากจนอีกแปดหรือเก้าคน ที่ทรงส่งไปให้คนดูแลเลี้ยงดูแทนในดิสตริคท์ที่ประทับ[20] ในปี ค.ศ. 1802 พระองค์ทรงรับเลี้ยงวิลเลียม ออสตินผู้มีอายุเพียงสามเดือนครึ่ง และทรงนำเข้ามาพำนักในที่ประทับ มาในปี ค.ศ. 1805 คาโรลีเนอก็ทรงมีเรื่องกับเซอร์จอห์นและเลดี้ดักกลาสผู้เป็นเพื่อนบ้านผู้อ้างว่าพระองค์ทรงส่งจดหมายหยาบคายไปรังควาน เลดี้ดักกลาสกล่าวหาคาโรลีเนอว่าทรงมีชู้ และกล่าวว่าวิลเลียม ออสตินเป็นพระโอรสนอกสมรสของคาโรลีเนอ[21]

ในปี ค.ศ. 1806 ก็ได้มีการแต่งตั้งคณะกรรมการลับที่เรียกว่า "การสืบสวนเรื่องละเอียดอ่อน" (Delicate Investigation) เพื่อสอบสวนข้ออ้างของเลดี้ดักกลาส คณะกรรมการประกอบด้วยผู้มีความสำคัญระดับชาติสี่คนที่รวมทั้ง: นายกรัฐมนตรีแห่งสหราชอาณาจักร วิลเลียม เกรนวิลล์ บารอนเกรนวิลล์ที่ 1, ลอร์ดชานเซลเลอร์ ทอมัส เอิร์สคิน บารอนเอิร์สคินที่ 1, ประธานยุติธรรมสูงสุดแห่งอังกฤษและเวลส์ เอ็ดเวิร์ด ลอว์ บารอนเอลเลนโบโรห์ที่ 1 และ รัฐมนตรีกระทรวงมหาดไทย จอร์จ สเป็นเซอร์ เอิร์ลสเป็นเซอร์ที่ 2 เลดี้ดักกลาสให้การว่าคาโรลีเนอเองทรงยอมรับต่อตนเองในปี ค.ศ. 1802 ว่าทรงพระครรภ์ และวิลเลียม ออสตินเป็นพระโอรสของพระองค์[22] และกล่าวต่อไปว่าคาโรลีเนอทรงมีกิริยาอันหยาบคายต่อพระราชองค์ ทรงแตะต้องตนเองอย่างไม่เหมาะไม่ควรทางเพศ และ ยอมรับว่าสตรีผู้ใดที่เป็นมิตรดีกับชายก็เชื่อได้ว่าจะกลายเป็นคนรักของชายผู้นั้น[22] นอกจากสมิธ, แมนบีย์ และแคนนิงแล้ว, ทอมัส ลอว์เร็นซ์ และเฮนรี ฮูดก็ถูกกล่าวหาว่าอาจจะมีความสัมพันธ์ฉันท์ชู้รักกับพระองค์ คนรับใช้ของคาโรลีเนอไม่สามารถยืนยันหรือไม่ยอมยืนยันว่าบุคคลเหล่านี้เป็นชู้รัก หรือเรื่องการมีครรภ์ของคาโรลีเนอ และกล่าวว่าวิลเลียม ออสตินได้รับการนำมามอบให้แก่พระองค์โดยโซเฟีย ออสตินมารดาของเด็กเอง โซเฟีย ออสตินถูกเรียกตัวมาให้การและยืนยันว่าเด็กเป็นลูกของตนเอง[23] คณะกรรมการตัดสินว่าข้อกล่าวหา "ไม่มีมูล" และแม้ว่าจะเป็นการสืบสวนลับแต่ก็ไม่อาจที่จะป้องกันข่าวซุบซิบจากการแพร่ขยายออกไป ข่าวการสืบสวนจึงรู้ไปถึงหนังสือพิมพ์ในที่สุด[24] การปฏิบัติตนของคาโรลีเนอต่อสุภาพบุรุษถือกันว่าเป็นสิ่งที่ไม่เหมาะสม แต่ก็ไม่มีหลักฐานที่พิสูจน์ได้ว่าเป็นการกระทำที่นอกเหนือไปจากการกล่าวล้อเลียนระหว่างชายและหญิง คาโรลีเนออาจจะทรงโพล่งไปว่าทรงครรภ์ตามประสาของความโผงผางของพระองค์ แต่ผลที่ตามมาเป็นเรื่องที่ทำให้ทรงเสียชื่อเสียง[23] ต่อมาในปีนั้นคาโรลีเนอก็ได้รับข่าวร้ายว่าเบราน์ชไวค์ถูกรุกรานโดยฝรั่งเศส และพระราชบิดาถูกสังหารในยุทธการเยนา-เออร์ชตัดท์ คาโรลีเนอมีพระประสงค์ที่จะหนีจากบริเตนและเสด็จกลับเบราน์ชไวค์แต่เมื่อแผ่นดินใหญ่ยุโรปส่วนใหญ่อยู่ภายใต้การปกครองของฝรั่งเศส พระองค์จึงไม่ทรงมีที่ปลอดภัยที่จะเสด็จไปได้[25]

เมื่อมาถึงปลายปี ค.ศ. 1811 พระเจ้าจอร์จที่ 3 ก็ทรงมีอาการเสียพระสติอย่างถาวร เจ้าชายจอร์จจึงทรงได้รับการแต่งตั้งให้เป็นผู้สำเร็จราชการแทนพระองค์ พระองค์ทรงจำกัดการเยี่ยมเยือนเจ้าหญิงชาร์ลอตของคาโรลีเนอ ซึ่งทำให้คาโรลีเนอกลายเป็นผู้ที่ขาดการติดต่อทางสังคมมากยิ่งขึ้น เมื่อชนชั้นสูงในสังคมหันมาร่วมงานเลี้ยงรับรองอันหรูหราของเจ้าชายจอร์จกันมากขึ้นแทนที่จะเป็นงานของคาโรลีเนอ[26] คาโรลีเนอจึงพยายามหาพันธมิตรผู้มีอำนาจที่จะเป็นปฏิปักษ์ต่อการห้ามไม่ให้พระองค์ได้พบปะกับพระธิดา ในจำนวนผู้สนับสนุนก็ได้แก่เฮนรี บรูม บารอนบรูมและโวซ์ที่ 1 นักการเมืองพรรควิกผู้ทะเยอทะยานผู้ต้องการที่จะปฏิรูป คาโรลีเนอจึงเริ่มทำการรณรงค์ต่อต้านเจ้าชายจอร์จ[27] เจ้าชายจอร์จตอบโต้ด้วยการปล่อยข่าวเกี่ยวกับการให้การของเลดี้ดักกลาสในกรณี "การสืบสวนเรื่องละเอียดอ่อน" บรูมจึงตอบโต้ด้วยการปล่อยข่าวเกี่ยวกับคำให้การของคนรับใช้เกี่ยวกับโซเฟีย ออสติน[28] เจ้าหญิงชาร์ลอตต์และสาธารณชนเข้าข้างพระมารดา เจน ออสเตนเขียนจดหมายเกี่ยวกับคาโรลีเนอว่า: "สตรีที่น่าสงสาร, ข้าพเจ้าจะสนับสนุนเธอนานเท่าที่จะทำได้เพราะเธอ เป็น สตรี และ ข้าพเจ้าเกลียดสามีของเธอ"[29]

ในปี ค.ศ. 1814 หลังจากการพ่ายแพ้ของนโปเลียนสมาชิกของพระราชวงศ์ต่างๆ จากราชอาณาจักรต่างๆ ในยุโรปก็มาเฉลิมฉลองกันในกรุงลอนดอนแต่คาโรลีเนอถูกกีดกัน[30] คาโรลีเนอไม่ทรงมีความสุขกับการที่ถูกปฏิบัติเช่นนั้น พระองค์จึงทรงเจรจาต่อรองกับรัฐมนตรีกระทรวงการต่างประเทศ, โรเบิร์ต สจวต ไวท์เคานท์คาสเซิลรีห์ ว่าจะทรงยอมออกจากบริเตนเป็นการแลกเปลี่ยนกับรายได้ประจำปีเป็นจำนวน £35,000 ทั้งบรูมและเจ้าหญิงชาร์ลอตต์ต่างก็ผิดหวังต่อการตัดสินใจของคาโรลีเนอ เพราะทั้งสองทราบดีว่าการจากไปของคาโรลีเนอเท่ากับเป็นการเพิ่มความมั่นคงให้แก่สถานภาพของเจ้าชายจอร์จและบั่นทอนเสถียรภาพของบุคคลทั้งสอง[31] คาโรลีเนอออกจากอังกฤษเมื่อวันที่ 8 สิงหาคม ค.ศ. 1814[32]