เดิมเทศบาลนครยะลาเป็นที่ตั้งของตำบลสะเตงซึ่งตามชื่อหมู่บ้านอันเป็นที่ตั้งตัวเมืองยะลาเดิม[7] โดย "สะเตง" เป็นคำมลายูแปลว่าไม้ถ่อเรือหรือไม้ถ่อแพ[8] จากการที่ตำบลดังกล่าวเป็นที่ตั้งของศาลากลางจังหวัดยะลา ที่ทำการอำเภอเมืองยะลา และสถานีรถไฟยะลาย่านบ้านนิบง[7] (นิบงแปลว่าต้นหลาวชะโอน)[8] บริเวณดังกล่าวมีความเจริญ หลังเมืองปัตตานีซบเซาลง ก็มีประชากรต่างถิ่นโยกย้ายอยู่อาศัยในชุมชนดังกล่าวเป็นจำนวนมาก[9] ในรัชสมัยพระบาทสมเด็จพระปรเมนทรมหาอานันทมหิดล พระอัฐมรามาธิบดินทร มีพระราชกฤษฎีกาจัดตั้งเป็นเทศบาลเมืองยะลา จังหวัดยะลา เมื่อวันที่ 14 กุมภาพันธ์ พ.ศ. 2479[10] ขณะนั้นเทศบาลเมืองยะลามีพื้นที่ทั้งหมด 16 ตารางกิโลเมตร[3] ด้วยตัวเทศบาลตั้งอยู่ที่บ้านนิบง ประชาชนรุ่นก่อนจึงเรียกตัวเมืองยะลาว่านิบง[9]

ในรัชสมัยพระบาทสมเด็จพระมหาภูมิพลอดุลยเดชมหาราช บรมนาถบพิตร มีพระราชกฤษฎีกาเปลี่ยนแปลงเขตเทศบาลเมืองยะลา ขยายพื้นที่ครอบคลุมเขตตำบลสะเตงทั้งหมด เมื่อวันที่ 5 มีนาคม พ.ศ. 2509[11] มีพื้นที่ทั้งหมด 19.4 ตารางกิโลเมตร[3] และต่อมามีพระราชกฤษฎีกายกฐานะเทศบาลเมืองยะลา เป็นเทศบาลนครยะลา เมื่อวันที่ 24 กันยายน พ.ศ. 2538[12] มีผลบังคับใช้ในวันที่ 25 กันยายนปีเดียวกัน[7]