ชุมชนในแถบตำบลแจระแมนั้น เดิมเป็นชุมชนที่ผลิตเกลือสินเธาว์ในสมัยโบราณ โดยใช้ดินเค็มจากลำห้วย ซึ่งใช้เป็นที่สัญจรผ่านไปมาของคนทั่วไป เมื่อนำดินเค็มใส่รางแล้วนำน้ำมาเทแล้วกวนจนน้ำละลายเกลือจากดิน เมื่อผู้คนสัญจรผ่านไปมาจึงเรียกให้คนมาชิมรสเกลือ เป็นภาษาอีสานว่า "แจะทำแม้"[3] ต่อมาจึงเพี้ยนเป็น "แจระแม" และใช้เป็นชื่อเรียกลำห้วยดังกล่าวว่า ห้วยแจระแม มาจนถึงปัจจุบัน

ชุมชนแจระแมได้รับการยกฐานะเป็น "องค์การบริหารส่วนตำบลแจระแม" เมื่อวันที่ 28 เมษายน พ.ศ. 2539 ตามประกาศกระทรวงมหาดไทย ลงวันที่ 19 มกราคม พ.ศ. 2539 ซึ่งประกาศในราชกิจจานุเบกษา ฉบับทั่วไป เล่มที่ 113 ตอนที่ 96 ลงวันที่ 30 มกราคม พ.ศ. 2539 ต่อมาองค์การบริหารส่วนตำบลแจระแมได้รับการจัดตั้งเป็นเทศบาลเมืองเมื่อ 5 กันยายน พ.ศ. 2555 ต่อมาในปี พ.ศ. 2544 ได้มีแยกชุมชนบางส่วนบริเวณเลียบถนนเลี่ยงเมือง ได้แก่ หมู่ที่ 1 บ้านท่าบ่อ (บ้านท่าบ่อใต้ในปัจจุบัน), หมู่ที่ 2 บ้านท่าบ่อ และหมู่ที่ 10 บ้านหนองหอย ให้ไปอยู่ภายใต้การบริหารของเทศบาลตำบลอุบล ซึ่งถูกจัดตั้งขึ้นในปีเดียวกันนั้น

เมื่อวันที่ 5 กันยายน พ.ศ. 2555 กระทรวงมหาดไทยได้มีประกาศจัดตั้งเทศบาลเมืองแจระแม โดยยกฐานะจากองค์การบริหารส่วนตำบลแจระแม ให้มีขอบเขตพื้นที่การบริหารครอบคลุมพื้นที่ตำบลแจระแมทั้งหมดที่อยู่นอกเหนือเขตปกครองของเทศบาลตำบลอุบล[1]