เจ้าจอมทับทิม ในรัชกาลที่ 4 เป็นธิดาคนหนึ่งของพระยาราชสุภาวดี (ปาน)[1] ขุนนางชั้นผู้ใหญ่ที่สืบเชื้อสายมาแต่รามัญที่ตามเสด็จสมเด็จพระนเรศวรมหาราชเข้ามายังกรุงศรีอยุธยาเมื่อคราวประกาศอิสรภาพจากพม่า และมีบุตรหลานเข้ารับราชการสนองพระเดชพระคุณทั้งฝ่ายหน้าฝ่ายในมิได้ขาด[2] ซึ่งพระยาราชสุภาวดีเองก็เข้ารับราชการเป็นมหาดเล็กมาตั้งแต่รัชสมัยพระบาทสมเด็จพระพุทธเลิศหล้านภาลัย ครั้นเมื่อถึงรัชสมัยพระบาทสมเด็จพระจอมเกล้าเจ้าอยู่หัว จึงได้ถวายธิดาเข้าราชการเป็นเจ้าจอม[2]หลังพระบาทสมเด็จพระจอมเกล้าเจ้าอยู่หัวสวรรคต เจ้าจอมทับทิมก็เข้ารับราชการเป็นเสมียนหลวงฝ่ายใน[1]ในรัชสมัยของพระบาทสมเด็จพระจุลจอมเกล้าเจ้าอยู่หัว