ตามคำบอกเล่าของชาวบ้านเล่าว่า ในอดีตแม่น้ำกกไหลเข้ามาในตัวถ้ำพระ และตัวถ้ำอยู่สูงมีโพรงหินต่าง ๆ เจำนวนมาก ต่อมาได้มีเรือของเจ้าเมืองพระองค์หนึ่งชนเข้ากับปากถ้ำ เรือได้ล่มลง และพระองค์เสด็จสวรรณคต ชาวบ้านที่ทราบเรื่องจึงย้ายเรือดังกล่าวไปไว้ที่ฝั่งด้านล่างของตัวถ้ำ ต่อมาเมื่อน้ำแห้งลงจากตัวถ้ำ ชาวบ้านกับพระสงฆ์จึงได้สร้างพระพุทธรูปเก็บไว้ในถ้ำมากมาย และชาวบ้านเชื่อกันว่าถ้ามีการป่วยไข้ ให้นำพระพุทธรูปมาขอขมาและถวายต่อพระพุทธรูปในถ้ำ ต่อมาบนิเวณนี้ถูกเรีกว่า สุสานพระ เนื่องจากชาวบ้านมักนำพระพุทธรูปที่รูปทรงไม่ค่อยงามหรือชำรุดมากมาเก็บไว้ในถ้ำ นอกจากนี้ในสมัยก่อนไม่อนุญาตให้สตรีเข้าไปในบริเวณถ้ำพระ เพราะเชื่อว่าเป็นการลบหลู่ดวงพระวิญญาณของเจ้าเมืองพระองค์ดังกล่าวและพระพุทธรูปต่าง ๆ ภายในถ้ำ

ในสมัยสงครามโลกครั้งที่ 2 กองทัพทหารญี่ปุ่นได้ยกทัพผ่านมาทางถ้ำพระ และขนเอาพระพุทธรูปภายในถ้ำบางส่วนไปต้มรับประทาน เพราะเชื่อว่าจะทำให้ร่างกายแข็งแรง มีอายุยืนยาว ซึ่งต่อมาในภายหลังทหารญี่ปุ่นที่ต้มพระทานนั้ยกลับล้มตายลงด้วยอาการท้องร่วง

หลีงสิ้นสุดสงครามได้มีการบูรณะถ้ำพระและชาวบ้านได้อัญเชิญองค์พระประธานมาประดิษฐานตรงปริเวณที่เคยเป็นสุสานพระดังกล่าวไว้[2]