วัดคูหาสวรรค์วรวิหารเดิมมีชื่อว่า "วัดศาลาสี่หน้า" เป็นวัดโบราณสร้างมาตั้งแต่ครั้งกรุงศรีอยุธยายังเป็นราชธานี แต่ไม่ปรากฏหลักฐานว่าใครเป็นผู้สร้าง สิ่งที่ยังคงหลงเหลือและแสดงความเป็นสิ่งของสมัยกรุงศรีอยุธยา คือ ลายหน้าบันสลักไม้ทั้งด้านหน้าและด้านหลังของพระอุโบสถ ปีกของหน้าบันเล็กตามหลังคาลดชั้นอีกด้านละสองปีก เป็นฝีมือช่างสมัยกรุงศรีอยุธยา และใบสีมาที่เป็นสีมาคู่ ทำด้วยหินทรายแดง ฝีมือช่างอยุธยาตอนปลาย ส่วนซุ้มสีมานั้นสร้างเพิ่มเติมขึ้นที่หลัง แบบเดิมใบสีมาประดิษฐานอยู่บนแท่นปูนเท่านั้น

ต่อมา พระบาทสมเด็จพระพุทธยอดฟ้าจุฬาโลกมหาราชโปรดเกล้าฯ ให้บูรณะขึ้นใหม่แล้วทรงสถาปนาให้เป็นพระอารามหลวงชั้นตรี ชนิดวรวิหาร พร้อมทั้งเปลี่ยนนามวัดใหม่จากวัดศาลาสี่หน้าเป็น "วัดคูหาสวรรค์วรวิหาร" ตามหลักฐานรับรองสภาพวัดของกองพุทธศาสนสถาน สำนักงานพระพุทธศาสนาแห่งชาติ ปรากฏว่า วัดนี้ตั้งขึ้นและรับวิสุงคามสีมาเมื่อ พ.ศ. 2320