พระสัมพันธวงศ์เธอ พระองค์เจ้าพรรณราย ประสูติเมื่อวันพุธ เดือน 6 แรม 1 ค่ำ ปีจอ ตรงกับวันที่ 9 พฤษภาคม พ.ศ. 2381 มีพระนามเดิมว่า หม่อมเจ้าแฉ่ เป็นพระธิดาองค์ที่หกในสมเด็จพระบรมราชมาตามหัยกาเธอ กรมหมื่นมาตยาพิทักษ์ ต้นราชสกุลศิริวงศ์ (พระราชโอรสในพระบาทสมเด็จพระนั่งเกล้าเจ้าอยู่หัว กับเจ้าจอมมารดาทรัพย์) ประสูติแต่หม่อมกิ่ม (สกุลเดิม แซ่จิ๋ว) มีพระภราดาพระภคินีร่วมพระบิดา รวม 8 พระองค์[1][2][3] หนึ่งในนั้นคือสมเด็จพระเทพศิรินทราบรมราชินี พระมเหสีในพระบาทสมเด็จพระจอมเกล้าเจ้าอยู่หัว ดังนั้นพระองค์จึงเป็นพระมาตุจฉาในพระบาทสมเด็จพระจุลจอมเกล้าเจ้าอยู่หัว

พระชนนีคือหม่อมกิ่ม เป็นธิดาของจีนก๊วง แซ่จิ๋ว กับแตง แซ่ลี้ ทั้งสองมีเชื้อสายจีน น้องสาวคนหนึ่งของหม่อมกิ่มชื่อเอี่ยม สมรสกับจีนอู่ แซ่เล้า น้องพระยาพิสณฑ์สมบัติบริบูรณ์ (ยิ้ม พิศลยบุตร) บิดาเจ้าจอมมารดาอ่วม ในรัชกาลที่ 5[4]

เมื่อพระชันษาได้เพียงขวบปี พระบิดาก็สิ้นพระชนม์ พระบาทสมเด็จพระนั่งเกล้าเจ้าอยู่หัวพระอัยกา จึงรับไปอำรุงเลี้ยงในพระบรมมหาราชวัง พร้อมพระราชทานพระนามใหม่ว่า "พรรณราย"[5] และให้สมเด็จพระบรมราชมาตามหัยิกาเธอ กรมพระยาสุดารัตน์ราชประยูร รับไปเลี้ยงจนทรงพระเจริญตามลำดับ[5]

พระประยูรญาติรวมทั้งพระบาทสมเด็จพระจอมเกล้าเจ้าอยู่หัว มักเรียกพระองค์ว่า "หญิงแฉ่" หรือ "แฉ่พรรณราย"[6] แม้กระทั่งพระบาทสมเด็จพระจุลจอมเกล้าเจ้าอยู่หัวเองก็ทรงเรียกว่า "น้าแฉ่"[7] สาเหตุที่ทรงได้รับพระนามเล่นว่า "แฉ่" นั้น เป็นเพราะทรงพระกันแสงหนักเมื่อแรกเข้ามาอยู่ในพระบรมมหาราชวัง[5]