วัดพระยาแมนเป็นวัดที่สร้างขึ้นในสมัยกรุงศรีอยุธยาเป็นราชธานี โดยไม่ปรากฏนามผู้สร้างและไม่ทราบว่าสร้างขึ้นในรัชสมัยใด แต่ชื่อวัดพระยาแมนปรากฏในพงศาวดารกรุงศรีอยุธยาในรัชสมัยสมเด็จพระเพทราชา กล่าวคือ ก่อนที่สมเด็จพระเพทราชาจะได้ครองราชสมบัตินั้น ผนวชอยู่ที่วัดพระยาแมน โดยพระอาจารย์อธิการได้ทำนายว่าพระองค์จะได้ขึ้นครองราชสมบัติ รวมทั้งยังได้ให้โอวาทานุสาสน์ในสมณะกิจทั้งปวง ดังนั้น เมื่อสมเด็จพระเพทราชาได้เสวยราชสมบัติแล้วจึงทรงพระราชดำริถึงคุณพระอาจารย์อธิการวัดพระยาแมน จึงเสด็จพระราชดำเนินไปยังวัดพระยาแมนเพื่อถวายนมัสการพระอาจารย์ แล้วมีพระราชดำรัสให้ให้สร้างพระอารามให้ถาวรขึ้นกว่าเก่า เมื่อสร้างแล้วเสร็จทรงพระกรุณาให้มีการสมโภช 3 วัน และทรงตั้งพระอาจารย์อธิการวัดพระยาแมน ชื่อ พระยาศรีสัจจญาณมุนี ราชาคณะ ฝ่ายคามวาสี พร้อมถวายเครื่องสมณบริขารพร้อมตามศักดิ์พระราชาคณะทุกประการ จากพงศาวดารแสดงให้เห็นว่าสิ่งก่อสร้างต่าง ๆ ที่ปรากฏอยู่ทุกวันนี้ล้วนเป็นฝีมือช่างคราวปฏิสังขรณ์ในครั้งนั้นทั้งสิ้น