ตำนานดั้งเดิมเล่าสืบต่อกันมาว่า เมื่อประมาณปี พ.ศ. 2400 ผู้เขียนไม่ปรากฏนามได้เขียนบนไม้ไผ่ไว้ว่ามี ทรายคำ (เนื้อทรายสีเหลืองทอง) ถูกนายพรานยิงบาดเจ็บวิ่งหนีโซเซมาจากบ้านพันห่าว ข้ามห้วยโด (เขตอำเภอบ้านแพง จังหวัดนครพนม) มาถึงบริเวณที่ราบลุ่มแห่งหนึ่งก็ไปไม่ไหว ล้มลงสิ้นชีพ ณ บริเวณแห่งนี้ บรรดาผู้คนที่ตามเนื้อทรายตัวนี้มา มาถึงก็ได้แล่เนื้อแบ่งกินครบถ้วนทุกคน ทั้งสาวแก่แม่ม่ายสร้างจินตนาการให้เกิดปาฏิหาริย์ว่า เนื้อทรายแม้เพียงตัวเดียว แต่ก็มีเนื้อแจกจ่ายกินกันจนกินไม่หมดเหลือทิ้ง จนนกกาบินมารุมกินเนื้อทรายที่เหลือ ที่บริเวณนี้จึงมีชื่อเรียก "เซกา

อีกตำนานหนึ่งเล่าว่า เมื่อประมาณปี พ.ศ. 2405 ได้มีผู้เฒ่า3คน คือ จันทรโคตร/จันผาย/ฮาดดา อพยพมาจากบ้านซางหาที่ทำกินใหม่ มาถึงที่แห่งหนึ่งเป็นที่ราบลุ่มอุดมสมบูรณ์ มีห้วยหนองแหล่งน้ำมากมาย จึงได้บอกข่าวกับญาติพี่น้อง ผู้คนทั้งหลายจึงได้อพยพกันมาอยู่บริเวณนี้ ผู้คนต่างก็เอาไซ (เครื่องมือจับปลาพื้นเมือง) ลงไปดักปลาในห้วยและเนื่องจาก ปลาในลำห้วยมีมากมาย ไม่ว่าใครก็ตามเอาไซลงไปดักปลา พอยกขึ้นมาก็มีปลาเต็มไปหมดจนขนปลาไปไม่ไหว ต้องทิ้งปลาไว้บนฝั่ง นกกาพากันบินมารุมกินปลาที่ชาวบ้านทิ้งไว้ คนจึงเรียกว่า "บ้านไซกา" ห้วยนั้นก็เรียกว่า "ห้วยไซกา" ต่อมาจึงเรียกเพี้ยนมาเป็น "เซกา" ดังที่ปรากฏในปัจจุบัน