เจ้าคุณจอมมารดาเอม เป็นเจ้าจอมคนแรกในพระบาทสมเด็จพระปิ่นเกล้าเจ้าอยู่หัว ตั้งแต่ครั้งดำรงพระยศที่เจ้าฟ้าจุฑามณี หรือที่บุคคลทั่วไปเรียกขานพระนามว่าเจ้าฟ้าน้อย ตามประวัติที่เล่าสืบกันมา ครั้งที่เจ้าฟ้าน้อยเสด็จผนวชตามพระราชประเพณีและจำพรรษาอยู่วัดระฆัง โปรดที่จะพายเรือออกบิณฑบาตโดยเรือพระทีนั่งลำเล็ก เข้าคลองบางกอกน้อย ซึ่งมีบ้านขุนนางคหบดีท่านหนึ่งตั้งโต๊ะใส่บาตรพระอยู่หน้าท่าน้ำเป็นประจำ และปรากฏบุตรีของเจ้าของบ้านเป็นผู้ลงมาตักบาตรเองเสมอ ๆ วันหนึ่งขณะที่เธอกำลังตักข้าวใส่บาตรพระภิกษุหนุ่มรูปงาม ท่าทางดูจะมิใช่สามัญชนทั่วไป พระภิกษุองค์นั้นก็ปิดฝาบาตรงับมือเธอโดยเจตนา เธอตกใจปล่อยมือจับทัพพีจนตกน้ำ แล้วรีบวิ่งหนีขึ้นเรือนไป ส่วนพระภิกษุหนุ่มดูจะพึงใจมาก บ่ายวันนั้นได้มีขบวนเชิญเครื่องทำขวัญและทัพพีอันใหม่มายังบ้านนั้น เจ้าสัวบุญมีเจ้าของบ้านเห็นวัสดุและลวดลายของทัพพีก็ทราบได้ทันทีว่าเจ้าของทัพพีเป็นใคร จึงเฝ้าถนอมรักษาบุตรีของตนไว้อย่างดีและมิให้ลงไปใส่บาตรพระอีกครั้นพระภิกษุเจ้าฟ้าจุฑามณีลาผนวชแล้ว ทรงสู่ขอบุตรีของเจ้าสัวบุญมีนั้นไปเป็นหม่อมห้าม ชื่อแต่แรกว่าหม่อมเอม และได้เป็นเจ้าจอมมารดาเอมเมื่อพระบาทสมเด็จพระจอมเกล้าเจ้าอยู่หัวเสด็จเถลิงถวัลยราชสมบัติและทรงสถาปนาสมเด็จพระเจ้าน้องยาเธอ เจ้าฟ้าจุฑามณี กรมขุนอิศเรศรังสรรค์ ให้ดำรงพระอิสสริยยศเสมอกษัตริย์ เฉลิมพระนามว่าพระบาทสมเด็จพระปิ่นเกล้าเจ้าอยู่หัว ซึ่งเป็นผู้เจียมพระองค์อย่างยิ่ง ระมัดระวังที่จะไม่ตีพระองค์เสมอสมเด็จพระเชษฐา โดยเฉพาะมิได้ทรงสถาปนาเจ้าจอมคนใดขึ้นเป็นพระชายา เช่นเดียวกับพระบาทสมเด็จพระนั่งเกล้าเจ้าอยู่หัว ที่ทรงมีพระราชประสงค์มิให้พระราชโอรสและพระราชธิดามีพระฐานันดรศักดิ์เกินชั้นพระองค์เจ้า ดังนั้นเจ้าจอมมารดาเอมจึงเพียงแต่ได้เลื่อนเป็นเจ้าคุณจอมมารดาในรัชกาลต่อมา เมื่อพระราชโอรสองค์ใหญ่ได้ขึ้นเป็นกรมพระราชวังบวรวิไชยชาญ อุปราชวังหน้า โดยพระบาทสมเด็จพระจุลจอมเกล้าเจ้าอยู่หัวโปรดเกล้าฯให้ขนานนามท่านอย่างเป็นทางการว่า “เจ้าคุณพระชนนี“ คนทั่วไปยังคงเรียกว่าเจ้าคุณจอมมารดาเอม