ไม่มีประวัติเขียนไว้เป็นหลักฐานแน่นอนแต่จากการบอกเล่าของคนท้องถิ่นทราบว่าเกิดขึ้นจากการที่ เผ่ากะเลิงหรือชาวกะเลิงเดิมเป็นชนเผ่าที่อาศัยอยู่ในบริเวณทิศตะวันตกของเทือกเขาในประเทศสาธารณรัฐประชาธิปไตยประชาชนลาว  ได้มีการเคลื่อนย้ายครั้งใหญ่ของชาวกะเลิงเกิดขึ้นเมื่อคราวเกิดสงครามปราบจีนฮ่อ  เมื่อ พ.ศ. 2426นอกจากนี้กรมการเมืองสกลนครนำไพร่พลจำนวนหนึ่ง ไปปักหลักเขตแดนสยามเมื่อ พ.ศ. 2428ทำให้ชนชาวกะเลิงติดตามเข้ามาอาศัยในเมืองสกลนครโดยเลือกที่ตั้งบ้านเรือนเลือกทำเลหากินตามเทือกเขาภูพาน

เดิมกุดบากเป็นตำบลหนึ่งในเขตปกครองของอำเภอเมืองสกลนครต่อมาวันที่ ๔ กันยายน พ.ศ. 2507 กระทรวงมหาดไทยได้ประกาศ ยกฐานะเป็นกิ่งอำเภอกุดบาก จนถึง วันที่ ๑๔ พฤศจิกายน พ.ศ. 2510 มีพระราชกฤษฎีกาประกาศยกฐานะเป็นอำเภอกุดบาก