ข้าวดอกรายเป็นอาหารเฉพาะกลุ่มของชาวสะกอม พวกเขายึดอาชีพประมงพื้นบ้านบริเวณชายฝั่ง โดยใช้วัตถุดิบที่หาได้ง่ายในท้องถิ่นมาประกอบอาหาร[3] เชื่อกันว่าอาหารชนิดนี้มีมานานแล้ว[4] มีเรื่องราวมุขปาฐะประจำชุมชนว่า หากมีครอบครัวที่พี่น้องมีปัญหาทะเลาะเบาะแว้ง หรือผิดใจกันแม้จะเพียงเล็กน้อย พ่อแม่จะชวนลูก ๆ ล้อมวงรับประทานข้าวดอกรายเพื่อพูดคุยปรับความเข้าใจกัน บางคนให้สมญาว่า ข้าวสามัคคี[1][5] เพราะเป็นสิ่งที่เรียกว่า "กินข้าวครกเดียวกัน" หมายถึง การพึ่งพาช่วยเหลือซึ่งกันและกัน[4] การทำข้าวดอกรายแต่ละครั้ง ชาวบ้านจะนำวัตถุดิบในการทำมาคนละอย่างสองอย่างเพื่อทำและล้อมวงรับประทานด้วยกัน[5]

ส่วนที่ใช้ชื่ออาหารชนิดนี้ว่า "ข้าวดอกราย" เพราะมีส่วนผสมที่หลากหลาย หาได้ง่ายจากในครัวเรือน โดยเฉพาะข้าวเย็น ซึ่งเป็นข้าวที่กินเหลือจากอาหารมื้อก่อน[4]