ในอดีตทรายมูลเป็นเพียงหมู่บ้านแห่งหนึ่งในเขตอำเภอยโสธร (สมัยยังเป็นส่วนหนึ่งของจังหวัดอุบลราชธานี) ในสมัยรัชกาลที่ 5 เกิดโรคระบาด ชาวบ้านได้อพยพย้ายถิ่นฐานไปจากที่ตั้งเดิมไปตั้งหมู่บ้านที่ใหม่ ห่างจากที่ตั้งเดิมไปประมาณ 2 กิโลเมตร ตั้งชื่อหมู่บ้านแห่งใหม่นี้ว่า บ้านทรายมูล

บ้านทรายมูลได้รับการยกฐานะเป็น ตำบลทรายมูล และต่อมาพื้นที่บางส่วนของตำบลได้รับการประกาศเป็นสุขาภิบาลทรายมูล เมื่อปี พ.ศ. 2511 ต่อมา กระทรวงมหาดไทยได้ประกาศตั้งเป็น กิ่งอำเภอทรายมูล โดยแยกตำบลทรายมูล ดู่ลาด ดงมะไฟ นาเวียง รวม 4 ตำบล ออกจากอำเภอเมืองยโสธร เมื่อวันที่ 15 พฤษภาคม พ.ศ. 2518 ให้ขึ้นการปกครองกับอำเภอเมืองยโสธร จังหวัดยโสธร ต่อมาเมื่อวันที่ 22 กรกฎาคม 2521 กระทรวงมหาดไทยได้โอนตำบลไผ่ อำเภอกุดชุม มาขึ้นกับกิ่งอำเภอทรายมูล เนื่องจากท้องที่ตำบลไผ่ อยู่ไกล้กับกิ่งอำเภอทรายมูลมากกว่าอำเภอกุดชุม และต่อมาเมื่อวันที่ 26 กรกฎาคม พ.ศ. 2527 กระทรวงมหาดไทยก็ประกาศยกฐานะขึ้นเป็น อำเภอทรายมูล