สมเด็จเจ้าฟ้ากุณฑลทิพยวดีมีเจ้าฟ้าด้วยกันกับพระบาทสมเด็จพระพุทธเลิศหล้านภาลัย รวมด้วยกัน 4 พระองค์ สิ้นพระชนม์เสียในรัชกาลสมเด็จพระชนกนารถพระองค์หนึ่ง คงพระชนม์ชีพต่อมา 3 พระองค์ เป็นเจ้าฟ้าชาย เจ้าฟ้าทั้ง 3 พระองค์นี้ ในรัชกาลที่ 2 เรียกกันว่าพระองค์ใหญ่ พระองค์กลาง และพระองค์ปิ๋วทั้งสิ้น เพิ่งมาเรียกพระองค์ใหญ่ว่า เจ้าฟ้าอาภรณ์ กันในรัชกาลที่ 3

สมเด็จเจ้าฟ้ากุณฑลทิพยวดีได้ทรงร่วมสุขร่วมทุกข์ ด้วยกันมาด้วยพระบาทสมเด็จพระพุทธเลิศหล้านภาลัย จนกระทั่งพระบาทสมเด็จพระพุทธเลิศหล้านภาลัยพระราชสวามี เสด็จสวรรคตเมื่อวันพุธ เดือน 8 แรม 11 ค่ำ ตรงกับวันที่ 21 กรกฎาคม ปีวอก พ.ศ. 2367 การเสด็จสวรรคตของพระราชสวามีย่อมนำความวิปโยคโศกเศร้าสลดรันทดพระทัยมาสู่พระองค์เป็นอย่างยิ่ง

เวลาสิ้นรัชกาลที่ 2 นั้น สมเด็จเจ้าฟ้ากุณฑลทิพยวดี พระมเหสีฝ่ายซ้ายพระชนมายุได้ 26 พรรษา วัยเบญจเพสพอดี เจ้าฟ้าพระราชโอรสพระองค์แรกคือเจ้าฟ้าอาภรณ์มีพระชนมายุได้ 8 พรรษา พระองค์ที่สองคือ เจ้าฟ้ากลาง คือ สมเด็จเจ้าฟ้ากรมพระยาบำราบปรปักษ์ มีพระชนมายุได้ 5 พรรษา พระองค์ที่สามคือ เจ้าฟ้าปิ๋ว พระชนมายุได้ 2 พรรษา พระองค์ย่อมทรงได้รับความลำบากอย่างแสนสาหัส เพราะพระโอรสยังทรงพระเยาว์มากทั้งสิ้น