กรมขุนเสนาบริรักษ์เป็นพระโอรสของท้าวศรีจุฬาลักษณ์ (แจ่ม) พระสนมเอกในสมเด็จพระนารายณ์มหาราช นางเป็นบุตรีของท้าวศรีสัจจาหรือพระนมเปรม และเป็นพระขนิษฐาของสมเด็จพระเพทราชา ในเอกสารของฟร็องซัว อ็องรี ตุรแปง (François Henri Turpin) ให้ข้อมูลว่าพระชนนีมีศักดิ์พระญาติของสมเด็จพระนารายณ์มหาราช[3]

แต่ท้าวศรีจุฬาลักษณ์เป็นหญิงผู้มักมากในกามคุณ แม้จะถวายตัวเป็นบาทบริจาริกาในสมเด็จพระนารายณ์มหาราชแล้ว แต่นางก็ยังเพียรหาข้ออ้างเพื่อออกไปจากพระราชฐานแล้วไปสมสู่กับกระทาชายต่างด้าวที่หมู่บ้านโปรตุเกสจนกลายเป็นที่อื้อฉาวในหมู่ชาวบ้านร้านตลาด ประชาชนได้นำความอัปรีย์ของนางไปขับร้องเป็นเพลงทั่วพระนคร เมื่อเรื่องไปถึงพระเนตรพระกรรณของสมเด็จพระนารายณ์มหาราชทรงให้นางอยู่แต่ในรั้วในวัง มิให้ออกไปไหนอีก[4] ด้วยเหตุนี้นางจึงไปมีความสัมพันธ์กับเจ้าฟ้าน้อย พระราชอนุชาแทน ภายหลังเมื่อถูกจับได้ นางก็ให้ประสูติพระโอรสคือหม่อมแก้ว แล้วจึงรับโทษประหารด้วยการโยนให้เสือกิน[3] ส่วนเจ้าฟ้าน้อยรับโทษเฆี่ยนด้วยหวายจนมีพระอาการทุพพลภาพ ก็พบว่าพระวรกายบวม มีพระอาการอ่อนเปลี้ยที่พระเพลา และมีพระอาการอัมพาตที่พระชิวหา หลายคนเชื่อว่าพระองค์แสร้งเป็นใบ้[4]

เรื่องราวของหม่อมแก้วปรากฏอีกครั้งเมื่อสมเด็จพระเพทราชา ซึ่งเป็นพระมาตุลาขึ้นเสวยราชย์ โปรดเกล้าฯ สถาปนาหม่อมแก้วหรือสมเด็จพระเจ้าหลานเธอพระองค์แก้วขึ้นเป็นกรมขุนเสนาบริรักษ์ (หรือกรมขุนเสนาบุรีรักษ์) ในฐานะที่หม่อมแก้วเป็นพระราชภาคิไนย[1][2]