เกาะยอ ปรากฏหลักฐานการมีอยู่ครั้งแรกจากแผนภาพการกัลปนาวัดพะโคะ ที่เขียนขึ้นช่วงปี พ.ศ. 2223 ถึง พ.ศ. 2242 ระบุชื่อว่า "เข้าก้อะญอ" ปรากฏอยู่ปลายสุดของแผนที่ เป็นภาพเขาเกาะยอที่มีพรรณไม้บนภูเขาแต่ไม่ปรากฏรูปสัตว์ป่า[4][5] และปรากฏอีกครั้งในแผนที่เมืองสงขลาที่เขียนขึ้นในปี พ.ศ. 2230 โดยมองเดียร์ เดอลามาร์ วิศวกรชาวฝรั่งเศส ในแผนที่นี้ปรากฏชุมชนบนเกาะ 9 แห่งบริเวณที่ราบเชิงเขารอบเกาะ ซึ่งปัจจุบันเป็นที่ตั้งของบ้านนาถิน, บ้านท้ายเสาะ, บ้านท่าไทร, บ้านสวนทุเรียน และบ้านนอก[4]