หม่อมเหม็น ประสูติเมื่อวันศุกร์ ขึ้น 7 ค่ำ เดือน 11 จ.ศ. 1141 หรือวันที่ 17 กันยายน พ.ศ. 2322 ได้รับพระนามเมื่อประสูติว่า สมเด็จพระเจ้าลูกเธอ เจ้าฟ้าสุพันธุวงศ์ แต่คนทั่วไปเรียกว่า เจ้าฟ้าเหม็น เป็นพระราชโอรสในสมเด็จพระเจ้ากรุงธนบุรี กับเจ้าครอกฉิมใหญ่ (ต่อมาได้รับการสถาปนาขึ้นเป็น สมเด็จพระเจ้าบรมวงศ์เธอ เจ้าฟ้าฉิมใหญ่) พระราชธิดาพระองค์ใหญ่ในพระบาทสมเด็จพระพุทธยอดฟ้าจุฬาโลกมหาราช[1] ดังปรากฏใน จดหมายเหตุความทรงจำกรมหลวงนรินทรเทวี ซึ่งได้บันทึกเรื่องราวดังกล่าวไว้ ความว่า[2]

"เจ้าฟ้ากษัตริย์ศึกเข้าเมืองได้ ณ วันจันทร์ ขึ้น ๓ ค่ำ เดือน ๑๐ เจ้าเมืองหนี ได้พระแก้วพระบาง พระไอยกาเข้าเมืองได้ ๓ วัน เจ้าลูกทรงครรภ์ประสูตร์เจ้า ณ วันศุกร์ ขึ้น ๗ ค่ำ เดือน ๑๐ ประสูตร์เปนพระราชกุมาร ประโคมแตรสังข์ลั่นฆ้องไชย แมงมุมทั้งไข่จิ้งจกตกพร้อมกัน แมงมุมอนิจกรรม จิ้งจกไปได้ ๑๒ วัน เจ้าแม่สิ้นพระชนม์ ส่วนเจ้าลูกให้พระพี่นางเธอเอาไปเลี้ยง ให้นามเจ้าสุพันทวงษ์"

ซึ่งนิมิตดีคือพระบาทสมเด็จพระพุทธยอดฟ้าจุฬาโลกมหาราช ได้ทำศึกตีเวียงจันทน์แตกได้พระแก้วมรกตและพระบางมาสู่พระนคร ส่วนลางร้ายคือแมงมุมและจิ้งจกตกลงมาพร้อมกัน หลังจากนั้นสิบสองวันเจ้าจอมมารดาฉิมใหญ่ก็สิ้นพระชนม์ แต่ขณะเดียวกันการ "ประโคมแตรสังข์ลั่นฆ้องไชย" เป็นสิ่งที่แสดงให้เห็นว่าพระราชโอรสที่ประสูติเป็นเจ้าฟ้าทั้ง ๆ ที่ผู้ให้กำเนิดเป็นเพียงเจ้าจอมมารดาเท่านั้น[2] ซึ่งกรณีในกรณีดังกล่าวจัดว่าเป็นเจ้าฟ้าตั้ง[3]

หลังการสิ้นชีพของมารดาเจ้าฟ้าเหม็นก็ตกอยู่ภายใต้การดูแลของยายสา (ภายหลังได้รับการสถาปนาเป็นสมเด็จพระเจ้าพี่นางเธอ เจ้าฟ้ากรมพระเทพสุดาวดี)[4] และมีพระพี่เลี้ยงชื่อหม่อมบุญศรี (เชื้อพระวงศ์กรุงศรีอยุธยาเก่า)[5]

ต่อมาอีก 3 ปีก็กำพร้าบิดาเมื่อพระราชบิดาคือสมเด็จพระเจ้ากรุงธนบุรีทรงถูก "เจ้าคุณตา" สำเร็จโทษ แต่ด้วยทรงอาลัยในเจ้าฟ้าเหม็นจึงทรงรอดพ้นจากการประหาร ดังปรากฏพระราชพงศาวดารฉบับพระราชหัตถเลขา ความว่า[6]

"สมเด็จพระเจ้าอยู่หัวกรมพระราชวังฯ เสด็จลงมาเฝ้า กราบทูลว่าบรรดาบุตรชายน้อย ๆ ของเจ้าตากสิน จะขอรับพระราชทานเอาใส่เรือไปล่มน้ำเสียให้สิ้น คำบุราณกล่าวไว้ ตัดหวายอย่าไว้หนามหน่อ ฆ่าพ่ออย่าไว้ลูก ซึ่งจะเลี้ยงไว้นั้นหาประโยชน์ไม่ จะเป็นเสี้ยนหนามต่อไปภายหน้า สมเด็จพระพุทธเจ้าหลวงทรงพระอาลัยอยู่ในเจ้าฟ้าสุพันธุวงศ์ พระราชนัดดา จึงดำรัสแก่สมเด็จพระอนุชาธิราชเจ้า ขอชีวิตไว้ทั้งสิ้น"

ที่ทรงเป็นหลานคนโตของเจ้าพระยามหากษัตริย์ศึก (พระบาทสมเด็จพระพุทธยอดฟ้าจุฬาโลกมหาราช) พระราชทานนามใหม่เป็น เจ้าฟ้าอภัยธิเบศร์ คนทั่วไปเรียกว่าเจ้าฟ้าอภัยทศ แต่เนื่องจากพระนามพ้องกับเจ้าฟ้าอภัยทศ แผ่นดินสมเด็จพระนารายณ์ พ้องกับเจ้าฟ้าอภัย ในแผ่นดินพระเจ้าอยู่หัวท้ายสระ ซึ่งได้รับพระราชอาญาสำเร็จโทษด้วยท่อนจันทน์ ในช่วงผลัดแผ่นดิน ทรงสดับรับสั่งว่า ไม่เป็นมงคล โปรดให้เปลี่ยนเป็นเจ้าฟ้าธรรมาธิเบศร์ ต่อมาปี พ.ศ. 2349 เป็นกรมขุนกษัตรานุชิต ครั้งทรงเจริญพระชันษา จึงโปรดเกล้าพระราชทานวังถนนหน้าพระลาน ด้านตะวันตก ซึ่งเรียกว่า "วังท่าพระ"