เมื่อปี พ.ศ. 2435 ภูมิประเทศด้านตะวันตกของอำเภอโดยทั่วไปเป็นป่าดงดิบและภูเขาสูง มีไม้ใหญ่ ๆ มากมาย เช่น ไม้ยาง ไม้มะค่า ไม้ตะเคียน ฯลฯ จนได้รับการเรียกขานว่า "ท่ายาง" สภาพท้องที่เป็นป่าใหญ่ มีไข้มาลาเรียชุกชุม ราษฎรที่อาศัยอยู่เป็นชาวกะเหรี่ยงและกะหร่าง ส่วนภูมิประเทศด้านตะวันออกจรดชายฝั่งทะเลอ่าวไทย เป็นที่ราบลุ่มและดินปนทราย เหมาะแก่การเกษตรกรรม

ต่อมามีราษฎรจากจังหวัดอื่นเข้ามาตั้งหลักแหล่งทำมาหากินเป็นจำนวนมาก และมีผู้อพยพมาอยู่เพิ่มมากขึ้นทุกปี ใน พ.ศ. 2436 ทางราชการได้ตั้งอำเภอขึ้นที่หมู่บ้านวังไคร้ ริมแม่น้ำแม่ประจันต์ ตำบลวังไคร้ เรียกว่า อำเภอแม่ประจันต์ ในพ.ศ. 2453 ได้สร้างที่ว่าการอำเภอขึ้นใหม่ ณ ที่ว่าการอำเภอแม่ประจัน เมืองเพชรบุรี[1]

อำเภอแม่ประจันต์ตั้งอยู่ได้ประมาณ 20 ปี ทางการเห็นว่าอยู่ไกลจากย่านชุมชนจึงได้ย้ายมาตั้งที่ว่าการอำเภอแห่งใหม่ที่หมู่ที่ 2 ตำบลยางหย่อง (ปัจจุบันเป็นหมู่ที่ 2 ตำบลท่าแลง) และเรียกชื่อว่า อำเภอยางหย่อง ตั้งอยู่ได้นานประมาณ 2 ปี จึงได้ย้ายมาตั้งที่หมู่ที่ 1 บ้านท่ายาง ริมฝั่งแม่น้ำเพชรบุรีเมื่อราวปี พ.ศ. 2460 แต่ยังเรียกอำเภอยางหย่องตามเดิม จนกระทั่งในปี พ.ศ. 2482 จึงได้เปลี่ยนชื่อใหม่เรียกว่า อำเภอท่ายาง[2] เพื่อให้ตรงกับหมู่บ้านอันเป็นที่ตั้งจนกระทั่งทุกวันนี้