เริ่มมีการมาตั้งถิ่นฐานบนเกาะนี้เมื่อปลายศตวรรษที่ 18 โดยชาวประมงมาเลย์ที่เร่ร่อน[3] เกาะปันหยีมีชื่อในภาษามาเลย์ว่า Pulau Panji ในสมัยนั้นกฎหมายจำกัดความเป็นเจ้าของที่ดินกับคนที่มีสัญชาติไทยเพียงอย่างเดียวจึงทำให้ต้องปันเสาเข็มลงบนทะเลเพื่อสร้างบ้านเรือน ต่อมาอุตสาหกรรมการท่องเที่ยวที่กำลังเติบโตในประเทศไทยได้เพิ่มความมั่งคั่งให้กับชุมชน จึงได้เริ่มการสร้างแหล่งน้ำจืดและมัสยิดบนเกาะ