วัดมหาธาตุวรวิหารมีอายุมากกว่า 1,000 ปี หลักฐานจากสมุดเพชรบุรี ระบุว่าได้พบอิฐสมัยทวาราวดี บริเวณป่าช้าวัดมหาธาตุ ฯ ด้านที่อยู่ติดกับวัดแก่นเหล็ก เป็นแผ่นอิฐยาวประมาณหนึ่งศอก ปิดทับอยู่บนหลุมฝังศพ มีซากโครงกระดูกหนึ่งโครง มีอักษรจารึกที่แผ่นอิฐนั้นมีความว่า "ข้าพเจ้าจีนแดงได้สร้างพระปรางค์ไว้ไม่สำเร็จ ขอให้ข้าพเจ้าได้สร้างพระปรางค์นี้อีกต่อไป"