วัดคูหาสุวรรณสร้างขึ้นตั้งแต่รัชสมัยพระยาไสสือไทราว พ.ศ. 1920 เดิมชื่อ “วัดโพธานี” ต่อมาใช้ “วัดคูหาสุวรรณาราม” โดยถือเอาเหตุที่มีถ้ำอยู่หน้าวัด ครั้งถึง พ.ศ. 2480 คงใช้เพียงนามว่า “วัดคูหาสุวรรณ” มาจนทุกวันนี้[3] เป็นวัดที่มีความสำคัญในฐานะเป็นศูนย์กลางของชุมชน รวมทั้งเป็นศูนย์กลางในการบริหารกิจการคณะสงฆ์นับแต่อดีตนับแต่พระครูศุขวโรทัย (ประดับ) อดีตเจ้าคณะเมืองสุโขทัย และพระราชพฤฒาจารย์ (ห้อม อมโร) อดีตเจ้าคณะจังหวัดสุโขทัย ก็มีวัดคูหาสุวรรณเป็นศูนย์กลางในการบริหารกิจการคณะสงฆ์ในช่วงเวลาดังกล่าว

พระยารณชัยชาญยุทธ (ครุฑ หงษ์สนันท์) เป็นบุคคลต้นรัชสมัยพระบาทสมเด็จพระจอมเกล้าเจ้าอยู่หัว เมื่อ พ.ศ. 2442 ดำรงตำแหน่งเจ้าเมืองกิตติมศักดิ์ เป็นผู้นำในการสร้างโบสถ์วัดคูหาสุวรรณ (วัดตระพังทอง และศาลาการเปรียญวัดไทยชุมพล)