บรรพบุรุษของชาวเกาะยาวได้อพยพมาจากจังหวัดตรังตั้งถิ่นฐานที่เกาะยาวน้อย และ สตูล จะตั้งถิ่นฐานที่เกาะยาวใหญ่ และอื่น ๆ ที่อยู่แถบนั้นในสมัยรัตนโกสินทร์ตอนต้น (พ.ศ. 2328) ขณะที่พม่าได้ยกทัพมาตีเมืองต่าง ๆ ผู้ที่หนีมาเห็นว่าเกาะยาวน้อยและเกาะยาวใหญ่มีความเหมาะสมที่จะหลบภัย จึงได้ตั้งหลักแหล่งบริเวณนี้

พ.ศ. 2446 ทางราชการยกฐานะเป็น กิ่งอำเภอเกาะยาว แยกออกมาจากอำเภอเมืองพังงา และขึ้นต่อเมืองพังงา ได้สร้างที่ว่าการกิ่งอำเภอหลังแรกเมื่อปี พ.ศ. 2463 ต่อมาได้ย้ายมาในที่ว่าการปัจจุบันในปี พ.ศ. 2508

ต่อมาข้าราชการและประชาชนต้องการให้ยกกิ่งอำเภอเกาะยาวเป็นอำเภอเกาะยาว ตลอดจนจังหวัดพังงาได้สนับสนุนให้ทางราชการยกฐานะให้ รวมได้รับการสนับสนุนจากหลายฝ่าย จนในที่สุดก็ได้รับการยกฐานะจากกิ่งอำเภอเกาะยาวเป็น อำเภอเกาะยาว ในวันที่ 1 มกราคม พ.ศ. 2531 รวมระยะเวลาการเป็นกิ่งอำเภอ 85 ปี นับว่าเป็นกิ่งอำเภอที่ยาวนานที่สุดในประเทศไทย