เหตุที่เรียกชื่อว่ายะลานั้นเพราะพระยาเมืองคนแรกได้ตั้งที่ทำการขึ้นที่บ้านยะลา คำว่า ยะลา (มลายู: Jala, جالا) หรือสำเนียงภาษามลายูพื้นเมืองเรียกว่า ยาลอ (มลายู: Jalor, جالور, ญาโลร์) แปลว่า "แห" ซึ่งเป็นคำยืมมาจากภาษาบาลี-สันสกฤตว่า ชาละ หรือ ชาลี หมายถึง "แห" หรือ "ตาข่าย"[7] มีภูเขาลูกหนึ่งในเขตอำเภอเมืองยะลามีลักษณะเหมือนแหจับปลา โดยผูกจอมแหแล้วถ่างตีนแหไปโดยรอบ ผู้คนจึงเรียกภูเขานี้ว่า ยะลา หรือ ยาลอ แล้วนำมาตั้งนามเมือง[7]

แต่ตามประวัติศาสตร์ซึ่งได้เขียนไว้ในสมัยเจ็ดหัวเมือง โดยเจ้าผู้ครองเมืองเดิมได้เขียนไว้เป็นประวัติศาสตร์เป็นภาษามลายูว่า “เมืองยะลา” เป็นสำเนียงภาษาอาหรับ โดยชาวอินโดนีเซียที่เข้ามาเผยแพร่ศาสนาอิสลามในบริเวณเจ็ดหัวเมืองซึ่งอยู่ในแหลมมลายูเป็นผู้ตั้งชื่อเมืองไว้

เมืองยะลาเดิมตั้งอยู่ใกล้ภูเขายาลอ ห่างจากที่ว่าการอำเภอเมืองยะลาปัจจุบันไปทางทิศตะวันตกประมาณ 12 กิโลเมตร ต่อมาเมืองยะลาได้ยกฐานะเป็นเมือง ๆ หนึ่งของบริเวณเจ็ดหัวเมือง คำว่าเมืองยะลาหรือยาลอ ยังคงเรียกกันจนถึงปัจจุบันนี้