เจ้าหญิงแคโรไลน์ มาทิลดาเป็นพระราชธิดาพระองค์สุดท้องในเจ้าชายเฟรเดอริก เจ้าชายแห่งเวลส์กับเจ้าหญิงออกัสตาแห่งแซ็กซ์-ก็อตธา พระราชบิดาของเจ้าหญิงมาทิลดาเป็นพระราชโอรสในพระเจ้าจอร์จที่ 2 แห่งบริเตนใหญ่กับสมเด็จพระราชินีคาโรลีนแห่งบริเตนใหญ่ พระราชมารดาของเจ้าหญิงมาทิลดาเป็นพระราชธิดาในดยุคเฟรเดอริคที่ 2 แห่งแซ็กซ์-ก็อตธา-อัลเทนเบิร์กกับเจ้าหญิงแมกเดเลนา ออกัสตาแห่งอัลฮัลท์-เซิร์บส์ พระราชบิดาของเจ้าหญิงมาทิลดาสิ้นพระชนม์ 3 เดือนก่อนการประสูติกาลของเจ้าหญิง ซึ่งทำให้พระนางทรงมิได้พบพระพักตร์พระราชบิดา เจ้าหญิงแคโรไลน์ มาทิลดาประสูติในวันที่ 11 กรกฎาคม พ.ศ. 2294 ณ พระตำหนักไลเชสเตอร์ ลอนดอน ประเทศอังกฤษ เจ้าหญิงทรงได้รับพระอิศริยยศเป็น "เจ้าหญิงแคโรไลน์ มาทิลดา" เนื่องด้วยเป็นพระราชธิดาในเจ้าชายแห่งเวลส์ พระนางจึงได้รัยพระอิสริยยศเป็น "เจ้าหญิงแห่งเวลส์" และเนื่องจากพระราชบิดาสิ้นพระชนม์ ตำแหน่งเจ้าชายแห่งเวลส์จึงผ่านไปทางพระเชษฐาของพระนางคือ เจ้าชายจอร์จ พระนามของพระนางได้เอามาจากพระนามของพระปิตุจฉาของพระนาง

เจ้าหญิงทรงได้รับพิธีศีลจุ่มใน 10 วันต่อมาโดยโธมัส เฮย์เตอร์ บิชอปแห่งนอร์วิช พระบิดาและพระมารดาอุปถัมภ์ของเจ้าหญิงคือ เจ้าชายจอร์จแห่งเวลส์ พระเชษฐา,เจ้าหญิงแคโรไลน์แห่งเกรตบริเตน พระปิตุจฉาและเจ้าหญิงออกัสตา เฟรเดอริกาแห่งเกรตบริเตน พระเชษฐาภคินี[2] พระนางทรงพำนักอาศัยกับพระมารดาที่เข้มงวดึ่งทรงพาเจ้าหญิงไปประทับนอกราชสำนักในลอนดอน เจ้าหญิงทรงพอพระทัยในธรรมชาติของชนบทซึ่งพระนางทรงชอบวิ่งเล่น พระนางสามารถตรัสภาษาอิตาเลียน ฝรั่งเศสและเยอรมัน และทรงได้รับการบรรยายถึงทักษะในการร้องเพลงและมีพระสุรเสียงที่ไพเราะ เจ้าหญิงทรงชื่นชอบในการปลูกผัก เรียนเต้นรำและเย็บปักถักร้อย