ตำบลหน้าถ้ำมีร่องรอยของการอยู่อาศัยของมนุษย์มาตั้งแต่ยุคก่อนประวัติศาสตร์ ดังพบหลักฐานภาพเขียนที่ถ้ำศิลป จนถึงยุคประวัติศาสตร์ราวพุทธศตวรรษที่ 14-15 เพราะพบว่าถ้ำหลายแห่งในตำบลนี้มีร่องรอยของการดัดแปลงเป็นพุทธสถานแบบมหายาน[2] ก่อนถูกทิ้งให้โรยราไป

ราวสองร้อยปีก่อน มีประชาชนเข้ามาลงหลักปักฐาน ณ ตำบลหน้าถ้ำ โดยอพยพมาจากจังหวัดปัตตานี, สงขลา และพัทลุง[2] โดยชนกลุ่มแรกที่ตั้งถิ่นฐานนั้นเป็นชาวไทยเชื้อสายมลายูนับถือศาสนาอิสลาม กระทั่งในปี พ.ศ. 2392 ชาวมุสลิมบ้านหน้าถ้ำได้ค้นพบพระพุทธรูปในถ้ำคูหาภิมุข ครั้นชาวจีนและไทยพุทธบ้านเปาะเส้งทราบข่าวจึงได้ขอเจรจาแลกเปลี่ยนพื้นที่ตั้งชุมชนกับชาวมุสลิมเพราะตั้งบ้านเรือนอยู่บริเวณพุทธสถานที่ไม่ใช่สิ่งที่ตนนับถือ ด้วยเหตุนี้ชาวมุสลิมบ้านหน้าถ้ำจึงย้ายไปอยู่ที่บ้านเปาะเส้ง และชาวพุทธเปาะเส้งก็ย้ายไปตั้งถิ่นฐานที่บ้านหน้าถ้ำจนถึงปัจจุบัน[6] ในช่วงรัชกาลพระบาทสมเด็จพระจอมเกล้าเจ้าอยู่หัวก็มีชาวไทยพุทธจากเมืองยะหริ่งอพยพเข้ามาตั้งถิ่นฐานที่นี่ 10 ครัวเรือน และได้ขออนุญาตจากเจ้าเมืองยะลาเพื่อสร้างวัดหน้าถ้ำ[2] ที่ต่อมาจอมพลแปลก พิบูลสงคราม ได้เปลี่ยนชื่อเป็น "วัดคูหาภิมุข"[5][7]

ส่วนชื่อบาโย ในภาษามลายูปัตตานีนั้นมีความหมายว่า "ต้นพรากวาง" ซึ่งมีมากบนเขาหน้าถ้ำ[2]

มีการจัดตั้งบ้านหน้าถ้ำเป็นตำบลหน้าถ้ำเมื่อปี พ.ศ. 2540[3]