เขาบันไดอิฐ มีลักษณะภูมิประเทศเป็นเขาขนาดเล็กซึ่งมีความสูง 121 เมตร และบนยอดเขาเป็นที่ตั้งของวัดเขาบันไดอิฐ[2] จุดเด่นของวัดแห่งนี้ก็คือมีถ้ำอยู่มากมาย ดังนี้ ถ้ำประทุนสร้างตั้งแต่ พ.ศ. 2475 ถ้ำพระเจ้าเสือมีพระพุทธรูปปางประทานพร (ปางเปลื้องทุกข์) เล่ากันว่าพระเจ้าเสือเคยมาที่นี่ ถ้ำพระนอน มีพระปางไสยาสน์สีทอง ถ้ำพระจันทร์ ด้านบนเหมือนพระจันทร์ทรงกลด ถ้ำพระอาทิตย์ ด้านบนมีช่องกว้างกว่าช่องตรงถ้ำพระจันทร์ ถ้ำปู่ฤาษีตาไฟ มีพระพุทธรูปประดิษฐานอยู่และมีรูปปั้นพ่อปู่ฤาษีห่มหนังเสือ และถ้ำดุ๊ค ซึ่งดยุกจากเยอรมนีสหายรัชกาลที่ 5 ดยุกจอห์นอัลเบิร์ตแห่งเมคเลินบวร์ค (Duke John Albert of Mecklenburg) เคยมานั่งสมาธิที่นี่

กลุ่มโบราณสถานสำคัญตั้งอยู่บนไหล่เขาทางทิศตะวันออกเฉียงใต้ ประกอบด้วย อุโบสถ อาคารก่ออิฐถือปูนมีฐานปัทม์อ่อนโค้ง หน้าบันตกแต่งด้วยลวดลายปูนปั้นเป็นลายกระหนกก้านขด หางโตมีก้านลายเป็นภาพครุฑ อันเป็นลวดลายปูนปั้นที่งดงาม โครงสร้างไม้หลังคาทุกชิ้นเขียนลายสีขาวบนพื้นแดง ทางด้านทิศตะวันออกของอุโบสถมีวิหารตั้งเรียงต่อในแนวเดียวกัน ลักษณะเป็นอาคารก่ออิฐถือปูนฐานปัทม์อ่อนโค้ง เจดีย์อยู่ระหว่างอุโบสถและวิหาร ฐานเจดีย์เป็นฐานสิงห์ มีระเบียงเตี้ย ๆ ล้อมรอบ ตัวระเบียงมีกระเบื้องเคลือบปรุลายจีนสีเขียวประดับ[3]