เมืองท่าทอง หรือ อำเภอกาญจนดิษฐ์ในปัจจุบัน ตั้งขึ้นเมื่อใดไม่มีหลักฐานบันทึกไว้แน่นอน แต่มีสถานที่ที่สอดคล้องกับตำนานและพงศาวดารอยู่หลายแห่งซึ่งเป็นสิ่งที่บ่งบอกให้เห็นว่า บริเวณเหล่านี้เคยเป็นชุมชนระดับเมืองมาตั้งแต่สมัยศรีวิชัยเป็นอย่างน้อย ในระหว่างที่เมืองหลวงของอาณาจักรนี้ตั้งอยู่ที่ไชยา เรื่องกรุงศรีวิชัยนั้นนายธรรมทาส พานิช กล่าวในพนมทราวดีศรีวิชัยว่า จารึกกรุงศรีวิชัยที่ทำขึ้นใน พ.ศ. 1318 พบที่ไชยา กรุงศรีวิชัยก็ต้องตั้งที่ไชยาในราว พ.ศ. 1200- 1350 หลังจากนั้นก็ย้ายจากไชยาไปอยู่ที่ตามพรลิงก์นครศรีธรรมราช