เมื่อประมาณ 1,000 กว่าปีก่อน ชาวบ้านเรือนที่อยู่ที่ตีนเขาเรียกว่า “บ้านใน” ซึ่งมีบ้านเรือนมากพอสมควร (ใกล้กับบ้านบ่อสอม ในปัจจุบัน) สมัยนั้นยังไม่มีการปลูกยางพาราและการปลูกสับปะรดแดง ต่อมาชาวบ้านเกิดโรคภัยไข้เจ็บขึ้น เชื่อกันว่าสาเหตุที่เจ็บไข้นั้นเพราะเงาของภูเขามาบังทับบ้านเรือน ดังนั้นชาวบ้านจึงย้ายมาอยู่บริเวณชายทะเลฝั่งตะวันตกของทะเลอันดามัน เรียกว่าบ้านหัวนอน และ บ้านใต้ตีน ในสมัยนั้น พื้นที่นี้มีลักษณะเป็นป่าทึบ มีสัตว์ป่าเป็นจำนวนมาก อย่างไรก็ตามบริเวณนี้มีคนจีนอาศัยอยู่ก่อนแล้ว 5-6 ครัวเรือน หลังจากนั้นมีการขยายบ้านเรือนเพื่อมากขึ้น ซึ่งในป่าทึบดังกล่าวมีต้นไม้ขนาดใหญ่อยู่ต้นหนึ่ง ต้นไม้ต้นใหญ่นี้มีลักษณะสีขาวทั้งต้น ดังนั้นชาวบ้านจึงได้ตั้งซื้อหมู่บ้านนี้ว่า “หมู่บ้านไม้ขาว” ตั้งแต่นั้นเป็นต้นมา

ในสมัยก่อนที่ยังไม่มีสะพานสารสิน เมื่อเรือวิ่งข้ามฝั่งเข้ามาจะมองเห็นต้นไม้สีขาวโดดเด่นมาก ตำบลไม้ขาวเดิมมี 5 หมู่บ้าน ปัจจุบันแยกออกเป็น 7 หมู่บ้าน ปัจจุบันยังมีต้นไม้สีขาวต้นนั้นอยู่หรือไหม ใครรู้บ้าง ยังมีคนสงสัยว่ามีต้นไม้อยู่ แต่ชาวบ้านทราบว่าต้นไม้ต้นนั้นไม่มีอยู่แล้ว