อำเภอตาลสุมแยกออกจากอำเภอพิบูลมังสาหารเมื่อวันที่ 18 กันยายน พ.ศ. 2521 เป็นกิ่งอำเภอตาลสุม และยกฐานะเป็นอำเภอเมื่อวันที่ 1 มกราคม พ.ศ. 2531 เนื่องจากมีต้นตาลจำนวนมาก ที่เกิดขึ้นเองตามธรรมชาติติดริมฝั่งน้ำมูล จึงเรียกบริเวณนี้ว่า "ตาลซุม" ต่อมาได้มีการเรียกชื่อเพี้ยนจาก “ตาลซุม” เป็น "ตาลสุม" ในปัจจุบัน