เริ่มก่อตั้งเมื่อ พ.ศ. 2440 โดยมีหลวงพรหมสารเป็นนายอำเภอคนแรก เดิมที่ว่าการอำเภอตั่งอยู่ที่ตำบลห้วยท่าช้าง จึงได้ชื่ออำเภอว่า อำเภอห้วยท่าช้าง ต่อมาได้ทำการย้ายที่ว่าการอำเภอห้วยท่าช้างไปตั้งอยู่ ณ ตำบลหัวสะพาน จึงได้มีการเปลี่ยนชื่อเป็น อำเภอหัวสะพาน ต่อมาได้ย้ายที่ว่าการอำเภอมาตั่งอยู่ ณ หมู่บ้านน้อย จึงได้เปลี่ยนชื่อเป็น อำเภอบ้านน้อย และ อำเภอตวันตก(อำเภอตะวันตก)

ใน พ.ศ. 2444 กระทรวงมหาดไทย ได้จัดระเบียบกรมการอำเภอเมืองเพชรบุรีใหม่ โดยการย้ายอำเภอตวันตก (อำเภอตะวันตก) ไปตั้ง ณ บ้านเขาย้อย ตำบลเขาย้อย เรียกชื่อว่า "อำเภอห้วยหลวง"[1]

ใน พ.ศ. 2446 ได้เปลี่ยนชื่อจากอำเภอห้วยหลวง แขวงเมืองเพชรบุรี เป็น อำเภอเขาย้อย แขวงเมืองเพชรบุรี[2]