จากคำบอกเล่าสืบต่อกันมาของผู้เฒ่าผู้แก่ได้ความว่า การทอผ้าของเกาะยอมีมาตั้งแต่ประเทศสยามสมัยกรุงศรีอยุธยาเป็นราชธานี โดยหมู่บ้านเกาะยอนั้นเป็นเกาะที่มีความอุดมสมบูรณ์ไปด้วยทรัพยากรธรรมชาติ ไม่ว่าจะทั้งโดยทางบนบกและทางน้ำ คนที่อพยพมาในช่วงแรกนั้นซึ่งเป็นคนเชื้อสายจีน ได้นำอาชีพการทอผ้ามาสอนชาวบ้านในบริเวณนั้น การทอผ้าจะทอด้วย “กี่มือ” ที่โครงสร้างเป็นไม้ไผ่ และใช้“ตรน” แทนลูกกระสวย ผ้าที่ทอในระยะแรกนั้นจะเป็นแบบเรียบๆ ไม่มีลวดลาย ระยะหลังได้มีการปลูกฝ้ายเพื่อนำมาทอผ้าและย้อมด้วยสีธรรมชาติและมีการทอเป็นลายดอกชนิดต่างๆในเวลาต่อมา เช่น "ลายก้านแย่ง"” ชื่อเดิมคือ “ลายคอนกเขา” ซึ่งเป็นลายที่สวยที่สุด และเมื่อปีพ.ศ. 2375 ชาวบ้านเกาะยอได้นำผ้าเกาะยอขึ้นถวายพระบาทสมเด็จพระปกเกล้าเจ้าอยู่หัว จึงได้รับพระราชทานชื่อใหม่ว่า “ลายราชวัตร” แปลว่า “กิจวัตรหรือการกระทำ” ผลิตภัณฑ์ผ้าทอเกาะยอ มีการสั่งสอน สืบทอดต่อกันภายในครัวเรือนเรื่อยมา เป็นเวลาหลายร้อยปี จนปรากฏว่ามีเพลงกล่อมเด็กเก่าแก่หลายบท ที่แสดงให้เห็นถึงค่านิยมและวัฒนธรรมการทอผ้าของชาวเกาะยอซึ่งผู้เฒ่าผู้แก่บนเกาะเล่าว่า ได้ฟังเพลงกล่อมเด็กเหล่านั้นมาจากยายอีกต่อ นอกจากนั้นยังมีปริศนาคำทายเกี่ยวกับเครื่องมือทอผ้าด้วยกลุ่มผ้าทอเกาะยอ กลุ่มผ้าทอเกาะยอมีการเริ่มต้นขึ้นเมื่อปี 2539 โดยมีการติดต่อกับหน่วยงานราชการ คือ สำนักงานพัฒนาชุมชนอำเภอเมืองสงขลา และได้รับเงินทุนจำนวนหนึ่งมาจัดตั้งกลุ่ม กลุ่มผ้าทอมีการพัฒนาเรื่อยมา จนกระทั่งเมื่อปี 2541 ได้จัดตั้งกลุ่ม ในนามว่า “กลุ่มราชวัตถ์ พัฒนาผ้าทอเกาะยอ” มีสมาชิกเริ่มแรก 14 คน วัตถุประสงค์ของกลุ่ม คือ เพื่อพัฒนาอาชีพของชาวตำบลเกาะยอ คือการทอผ้าเกาะยอ และเพื่อเป็นการอนุรักษ์ภูมิปัญญาท้องถิ่น จากการรวมกลุ่มครั้งแรกจึงได้กู้เงินมาเป็นทุนในการซื้อเส้นใยที่มีหน่วยงาน “ชมรมแสงส่องหล้า” มาให้ความช่วยเหลือในเรื่องการต่อเติมอาคารและได้นำเรื่องกลุ่มอาชีพไปเสนอสำนักพระราชวัง และต่อมาในปี 2543 จึงได้รับพระราชทานชื่อกลุ่ม ระหว่างกลุ่มราชวัตถ์ และกลุ่มแสงส่องหล้า จึงรวมเรียกชื่อว่า “กลุ่มราชวัตถ์แสงส่องหล้า” เป็นต้นมา