พื้นที่ของอำเภอยะหาแยกมาจากอำเภอเมืองยะลาในปี พ.ศ. 2481 สมัยหลวงรัชกาลประดิษฐ์ (แปะ) เป็นเจ้าเมืองยะลาและหมื่นเสนานุรักษ์ (ประดิษฐ์ ศุภอักษร)

ปลัดเมืองยะลาในขณะนั้นได้สำรวจพื้นที่และคัดเลือกตำบลยะหาเป็นที่ตั้งที่ว่าการอำเภอยะหา เบื้องต้นแบ่งออกเป็น 11 ตำบล ได้แก่ ตำบลยะหา ตำบลตาชี ตำบลบาโงยซิแน ตำบลสะเอะ ตำบลบาโร๊ะ ตำบลปะแต ตำบลซีเยาะ ตำบลบาโงย ตำบลชะเมาะ และตำบลลาบู

พ.ศ. 2443 หลวงภักดีรณฤทธิ์ นายอำเภอยะหาในขณะนั้น ได้ปรับปรุงเขตการปกครองใหม่ โดยยุบบางตำบลรวมกับอีกตำบลเข้าด้วยกัน ยุบตำบลบาโงยรวมกับตำบลบาโร๊ะ ยุบตำบลซีเยาะรวมกับตำบลบาโงยซิแน และยุบตำบลชะเมาะรวมกับตำบลละแอ