เจ้าจอมมารดาสี หรือ ศรี เป็นธิดาของเจ้าพระยาศรีธรรมาธิราช (บุญรอด บุณยรัตพันธุ์) เสนาบดีกรมวังในสมัยรัชกาลที่หนึ่ง[3] ต้นตระกูลสืบเชื้อสายมาแต่พราหมณ์พฤฒิบาศ[2] เจ้าจอมมารดาสีเคยเป็นนางละครรุ่นเล็กหรือรุ่นจิ๋วในสมัยกรุงธนบุรีและมีสมญาว่า "ศรีสีดา"[1] จนสิ้นรัชกาลพระเจ้ากรุงธนบุรีเมื่อเธอมีอายุ 12 ปี[2]

คุณฉิมรักใคร่ชอบพอคุณสีเมื่อสมัยกรุงธนบุรี เนื่องจากมีเคหสถานใกล้กับเคหสถานของพระบาทสมเด็จพระพุทธยอดฟ้าจุฬาโลกมหาราช ซึ่งขณะนั้นยังดำรงยศเป็นสมเด็จเจ้าพระยามหากษัตริย์ศึก[3] เมื่อพระบาทสมเด็จพระพุทธยอดฟ้าจุฬาโลกมหาราชขึ้นครองราชย์แล้ว จึงได้พระราชทานให้เป็นสนมเอกแก่สมเด็จเจ้าฟ้ากรมหลวงอิศรสุนทร ราวปี พ.ศ. 2328[2] และได้ให้ประสูติกาลพระราชธิดาสองพระองค์ คือ

1. พระเจ้าบรมวงศ์เธอ พระองค์เจ้าจักรจั่น (ประสูติ: พ.ศ. 2328 — สิ้นพระชนม์: รัชกาลที่ 1)
2. พระเจ้าบรมวงศ์เธอ พระองค์เจ้าบุบผา (ประสูติ: พ.ศ. 2334 — สิ้นพระชนม์: พ.ศ. 2367) บ้างเรียก พระองค์เจ้าบุพภาวดี[5] หรือออกพระนามว่า เจ้าครอกบุปผา[6]

ภายหลังเจ้าจอมมารดาสี คงสมบูรณ์อยู่มากคืออ้วนมาก จนถูกเรียกกันทั่วไปว่า เจ้าคุณพี ดังปรากฏในคำกลอนพระราชนิพนธ์รัชกาลที่ 2 เมื่อครั้งที่พระบาทสมเด็จพุทธเลิศหล้านภาลัยโปรดให้เหล่านางในตามเสด็จประพาสสวนขวาโดยลงเรือพายทำนองไล่จับกัน ทรงเขียนกลอนกล่าวถึงรูปพรรณของเจ้าจอมมารดาสีว่า "จับได้เรือเจ้าคุณพี ท่านเป็นผู้ดีมาแต่แผ่นดินโน้น ท่านงามนักเจียวเมื่อสาว เดี๋ยวนี้อ้วนราวกะตะโพน"[2][3] สอดคล้องกับคำตรัสเล่าของพระบาทสมเด็จพระจอมเกล้าเจ้าอยู่หัวความว่า "แต่เมื่อได้เห็นตัวนั้นเป็นผู้ใหญ่มีพระองค์เจ้าแล้วถึง ๒ องค์ รูปพรรณแปรปรวนอ้วนพีจึงได้เรียกชื่อนี้จนตาย"[2]

เจ้าจอมมารดาสี มีน้องสาวต่างมารดาถวายตัวเป็นพระสนมอีกท่านหนึ่ง คือ เจ้าจอมมารดาแก้ว ในรัชกาลที่ 3 พระชนนีในพระเจ้าบรมวงศ์เธอ พระองค์เจ้าอมฤตย์ กรมหมื่นภูบดีราชหฤทัย[7]