อูรักลาโว้ย มีความหมายว่า "คนทะเล" มีเรื่องเล่าสืบต่อกันมาว่า ในอดีตชาวอูรักลาโว้ยอาศัยอยู่บริเวณเทือกเขาฆูนุงฌึไร ในแถบชายฝั่งทะเลในรัฐเกอดะฮ์ (ไทรบุรี) จากนั้นก็เร่ร่อนเข้ามาสู่ในน่านน้ำไทย แถบทะเลอันดามัน ในช่วงแรกยังมีวิถีชีวิตแบบเร่ร่อน โดยอาศัยเรือไม้ระกำเป็นที่อยู่และพาหนะ พวกเขาใช้กายัก หรือแฝกสำหรับมุงหลังคาเป็นเพิงอาศัยบนเรือ หรือเพิงพักชั่วคราวตามชายหาดในฤดูมรสุม

ชาวอูรักลาโว้ยยังชีพด้วยการท่องเรือตามหมู่เกาะ กลุ่มละ 5-6 ลำ บางครั้งพวกเขาก็จะขึ้นเกาะมาเพื่อหาของป่า แต่ส่วนใหญ่จะล่าสัตว์ทะเลด้วยเครื่องมือง่ายๆอย่าง ฉมวก สามง่าม เบ็ดพวกเขามีความสามารถในการดำน้ำทะเลลึกเพื่อแทงปลาหรือจับกุ้งมังกรด้วยมือเปล่าและดำน้ำเก็บหอยจากก้นทะเล

ตามตำนานเล่าว่าชาวอูรักลาโว้ยเคยมีบรรพบุรุษเดียวกับชาวมอแกนและเป็นกลุ่มชาติพันธุ์ที่เร่ร่อนในทะเลมานาน พวกเขาใช้ภาษาอูรักลาโว้ยเป็นภาษาพูด พวกเขาเชื่อกันว่าเกาะลันตาเป็นสถาที่แรกที่ชาวอูรักลาโว้ยตั้งถิ่นฐาน เปรียบเสมือนเมืองหลวงของพวกเขาเลยทีเดียว แต่พวกเขาก็ยังอพยพเร่ร่อนอยู่เรื่อยๆ โดยโยกย้ายไปตามหมู่เกาะต่างๆ และตั้งถิ่นฐานที่เกาะนั้นๆ และกลับมาที่เดิม แต่ทุกกลุ่มยังคงมีความสัมพันธ์ไปมาหาสู่กันอยู่เสมอ ถือว่าเป็นสังคมเครือญาติใหญ่

ปัจจุบันพวกเขาตั้งบริเวณเกาะสิเหร่ หาดราไวย์ แหลมหลาเหนือ และบ้านสะปำ ในจังหวัดภูเก็ต เกาะพีพี เกาะจำ เกาะปู เกาะไหว และเกาะลันตาใหญ่ ในจังหวัดกระบี่ ไปจนถึงเกาะอาดัง เกาะหลีเป๊ะ เกาะบุโหลน และเกาะราวี จังหวัดสตูล