ตามตำนาน เรื่อง เขาช่องพราน ที่เล่าสืบต่อกันมาว่าพระรามัญญาธิบดีที่ 2 อดีตเจ้าอาวาสวัดคงคาราม เป็นผู้พบเขาช่องพรานและถ้ำในบริเวณนี้หลายแห่ง เห็นเป็นทำเลดีจึงได้ชักชวนชาวมอญมาตั้งรกรากทำมาหากินในท้องถิ่นนี้ และสร้างวัดขึ้นติดกับเขาทางด้านใต้ ส่วนอีกเรื่องหนึ่งกล่าวว่า วัดเขาช่องพรานนั้น พระยาเทพอรชุน (ปั้น ปันยารชุน) ร่วมกับพระอาจารย์ศาลเจ้าอาวาส พร้อมกับครอบครัวชาวมอญร่วมกันสร้างขึ้นเมื่อ พ.ศ. 2409 และใน พ.ศ. 2457 พระบาทสมเด็จพระมงกุฏเกล้าเจ้าอยู่หัว ได้ทรงนำกองเสือป่าไปทำการซ้อมรบและเสด็จประทับแรมในบริเวณวัดเขาช่องพราน พระยาเทพอรชุน พระยาราชสงคราม และพระยาปรีชานุสาสน์ได้ตามเสด็จด้วยเมื่อเห็นสภาพของวัดและอุโบสถ ชำรุดทรุดโทรมมาก จึงได้ร่วมกันบูรณะซ่อมแซมจนเสร็จเรียบร้อยเมื่อ พ.ศ. 2460

อีกเรื่องเล่า สมเด็จพระเจ้าตากสินมหาราชได้รับสั่งให้พระยาอินทรอภัยยกกำลังไปตั้งรักษาหนองน้ำที่เขาช่องพรานเพื่อสกัดกั้นกองทัพพม่าที่มาใช้น้ำจากหนองน้ำแห่งนี้ เลี้ยงช้างเลี้ยงม้าของตนและใช้ช่องเขานี้เป็นทางลำเลียงเสบียงอาหารด้วย พระยาเทพประชุน ได้นำคนไปสร้างวัดนี้ เมื่อแล้วเสร็จได้ให้คนเหล่านั้นอาศัยบริเวณวัดต่อไป เพื่อช่วยปลูกข้าวถวายให้แก่พระภิกษุสามเณรที่จำพรรษาที่วัด โดยมอบเนื้อที่ทำนาให้ประมาณ 80 ไร่และเล่ากันต่อมาว่ามีคนอาศัยทำนาประมาณ 10 ครอบครัว วัดเริ่มสร้างเพียงศาลาและกุฎิหลังเล็ก ๆ มีพระประจำวัดค่อย ๆ เพิ่มจำนวนมากขึ้นตามลำดับ โดยมีพระครูรามัญดี (พระอาจารย์ศาล) เป็นเจ้าอาวาสรูปแรก