ประวัติการสร้างวัดเกิดขึ้นพร้อม ๆ กับการตั้งถิ่นฐานของชาวพุทธ ประมาณ 200 ครัวเรือน ณ บ้านปากน้ำ ในปี พ.ศ. 2430 ชาวบ้านได้สร้างพำนักสงฆ์ขึ้น เพื่อเป็นสถานที่ประกอบกิจกรรมทางศาสนา เรียกว่า “พำนักสงฆ์ปากน้ำ” เมื่อมีพระสงฆ์มาจำพรรษามากขึ้น จึงสร้างศาลา และกุฏิเพิ่มขึ้นตามลำดับ ให้พระสงฆ์มีที่จำพรรษา และได้ขนานนามว่า "วัดแก้วโกรวาราม" ในเวลาต่อมา