สันนิษฐานว่า วัดเขาแก้วนั้น ตั้งมาตั้งแต่ประมาณปี พ.ศ. 1900 สมัยสุโขทัยเป็นราชธานี ได้ชื่อวัดเขาแก้วเพราะ บริเวณที่ตั้งของวัดแห่งนี้ ด้านหลังติดเขา ซึ้งสภาพหินจะมีลักษณะเหลี่ยมใส คล้ายแก้ว จึงเรียกนามว่า เขาแก้ว และเรียกวัดแห่งนี้ว่า วัดเขาแก้ว อนึ่ง มีตำนานเล่าต่อๆ กันมาว่า บนเขาแก้วมีถ้ำ ภายในถ้ำมีวัหัวแด่นตัวใหญ่ ยืนเฝ้าสมบัติอยู่ ชาวบ้านจึงเรียกว่าบ้าน วัวหน้าแด่น ภายหลังก็เพี้ยนมาจนเป็น บ้านหัวแด่น ภายในวัดมีวัถุโบราณ และศาสนสถานโบราณอยู่หลายแห่ง หลายชิ้น อายุก็คาดว่าอยู่สมัยราวๆ กรุงสุโขทัยเป็นราชธานี[1]