วัดโกโรโกโส เดิมชื่อ วัดคลังทอง คนในท้องที่ส่วนใหญ่มักเรียกว่า วัดสี่โอ มีประวัติการสร้างวัดอยู่หลายเรื่อง

พระเจ้าตากสินมหาราช ได้เดินทางพร้อมกับทหารมาทางทิศตะวันออก มาพบกับวัดคลังทอง จึงหยุดพักทัพ และได้ไปกราบขอพรพระในอุโบสถซึ่งเป็นพระศักดิ์สิทธิ์ชื่อ หลวงพ่อแก้ว (หลวงพ่อดำ) ท่านได้ขอพรว่า "ข้าแต่สิ่งศักดิ์สิทธิ์ในพระอุโบสถแห่งนี้ขอให้ข้าพระเจ้าได้กอบกู้เอกราชได้สำเร็จด้วยเทอญ เพื่อให้คนไทยได้มีที่อยู่ที่อาศัย" เมื่อกล่าวคำเสร็จมีพวกชาวบ้านเห็นเหตุการณ์จึงเข้าช่วยเหลือกองทัพของพระเจ้าตากสินโดยการตำข้าวเม่าเพื่อเป็นเสบียงในการออกเดินทางไปสู้รบและฝั่งตรงข้ามของคลองชาวบ้านอีกส่วนหนึ่งช่วยกันทำธนู และอาวุธอื่น ๆ เพื่อเตรียมเอาไปสู้รบกับข้าศึก เมื่อพระเจ้าตากสินทำการสู้รบกอบกู้เอกราชได้สำเร็จ ท่านได้ทรงพระราชทานชื่อหมู่บ้านให้ ทางฝั่งคลองที่ตำข้าวเม่า ทรงพระราชทานชื่อว่าหมู่บ้านคลองข้าวเม่า และฝั่งตรงข้ามที่ทำธนูได้พระราชทานชื่อหมู่บ้านว่า หมู่บ้านธนู ต่อมาได้รู้ถึงข้าศึกชาวพม่าว่าวัดคลังทองเป็นแหล่งขุมกำลังของคนไทย จึงจัดกองทัพมาเผาทำลายวัดและพวกชาวบ้านจนสิ้น จนเป็นวัดร้างตั้งแต่บัดนั้นมา

ต่อมาชาวบ้าน และพระภิกษุคิดจะบูรณะซ่อมแซมวัดขึ้นมาใหม่ แต่ก็ยากที่จะทำได้ เพราะเหลือแต่ซากปรักหักพัง จึงได้ร่วมมือกันสร้างวัดใหม่ซึ่งอยูฝั่งตรงข้ามชื่อว่า วัดสะแก ชาวบ้านจึงเรียกวัดเก่านี้ว่า "วัดโกโรโกโส" จนติดปากเรื่อยมาจนถึงปัจจุบัน ต่อมามีพระภิกษุรูปหนึ่งชื่อว่า หลวงพ่อคอน สุริญาโน (พระราชมงคลมุณี) ได้เห็นสภาพของวัดโกโรโกโสอยู่ในสภาพทรุดโทรมมาก จึงได้บูรณะวัดขึ้นมาใหม่ หลวงพ่อคอนเห็นว่าพระพุทธรูปองค์นี้คือหลวงพ่อแก้ว (หลวงพ่อดำ) เป็นพระพุทธรูปสมัยสุโขทัย ควรที่จะอนุรักษ์ จึงสร้างซุ้มคลุมองค์พระพุทธรูป และต่อเศียรพระพุทธรูปให้อยู่ในสภาพเหมือนเดิม พร้อมกับสร้างถาวรวัตถุอีกมากมาย[1]

อีกเรื่องเล่าหนึ่ง มีชาวจีนสองคน คือ "อาโกโร" และ "อาโกโส" (อาโก คือ พี่สาวหรือน้องสาวของพ่อภาษาแต้จิ๋ว) ซึ่งเป็นเพื่อนกันได้ร่วมกันสร้างวัดขึ้นโดยมิได้ตั้งชื่อเสียงเรียงนาม ชาวบ้านที่รู้ว่าท่านทั้งสองสร้างวัดจึงพากันเรียกว่า วัดอาโกโรอาโกโส ต่อมาทางการขนานนามให้ว่า "วัดคลังทอง" แต่ชาวบ้านก็ยังนิยมเรียกกันต่อมาว่า "วัดอาโกโรอาโกโส" ครั้นนานวันเข้าก็หายกลายเป็น "วัดโกโรโกโส"[2]