วัดถ้ำกระบอกก่อตั้งในชื่อ สำนักสงฆ์ถ้ำกระบอก เมื่อปี พ.ศ. 2500 โดยหลวงพ่อใหญ่ (แม่ชีเมี้ยน ปานจันทร์) พระอาจารย์จำรูญ ปานจันทร์ และพระอาจารย์เจริญ ปานจันทร์ พร้อมด้วยคณะสงฆ์กลุ่มหนึ่งที่จำพรรษาอยู่ที่วัดคลองเม่าธรรมโกศล จังหวัดลพบุรี ได้เดินธุดงค์มา ซึ่งเป็นกิจวัตรที่ปฏิบัติกันมาโดยตลอดทุกปี ได้พิจารณาว่าที่ถ้ำกระบอก สงบเงียบเหมาะเป็นที่ปฏิบัติกิจของสงฆ์ จึงได้ตั้งสำนักสงฆ์ที่นี่[1]

ต่อมาในปี พ.ศ. 2513 พระอาจารย์จำรูญ ปานจันทร์ เป็นผู้นำคณะสงฆ์ถ้ำกระบอกและได้บริหารงานการบำบัดรักษาผู้ติดยาเสพติด จนกระทั่งในปี พ.ศ. 2518 ได้รับรางวัลแมกไซไซ สาขาบริการสาธารณะ ในปี พ.ศ. 2524 พระอาจารย์เจริญ ปานจันทร์ ได้กลับมาพำนักที่สำนักสงฆ์ถ้ำกระบอกอีกครั้งหนึ่ง และได้ช่วยพระอาจารย์จำรูญ ปานจันทร์บริหารงาน ได้สร้างถาวรวัตถุ เช่น กุฏิสงฆ์ สร้างโบสถ์ วิหาร และด้านสาธารณูปโภค ส่วนในด้านการบำบัดรักษาผู้ติดยาเสพติดยังอยู่ในความรับผิดชอบของพระอาจารย์ จำรูญ ปานจันทร์ จนพระอาจารย์จำรูญได้ลาสังขาร พระอาจารย์เจริญจึงได้ เป็นผู้นำคณะสงฆ์ถ้ำกระบอก

สำนักสงฆ์ถ้ำกระบอกได้รับประกาศตั้งเป็นวัดถ้ำกระบอกในปี พ.ศ. 2555 ได้รับพระราชทานวิสุงคามสีมาในปี พ.ศ. 2558 โดยมีพระอธิการ วิเชียร กิตฺติวณฺโณ เป็นเจ้าอาวาสรูปแรก