วัดพระธาตุนารายณ์เจงเวง สร้างขึ้นพร้อมกันกับ "พระธาตุนารายณ์เจงเวง" หรือ "อรดีมายานารายณ์เจงเวง" โดยชื่อนี้ตั้งชื่อตามผู้สร้างโดยกลุ่มสตรีของพระนางนาเวงแห่งเมืองหนองหานหลวงมีการแข่งขันกลุ่มบุรุษชาวเมืองหนองหานน้อย เพื่อรอรับพระพระมหากัสสปะเถระ ซึ่งนำพระอุรังคธาตุไปบรรจุยังดอยภูกำพร้า โดยตกลงกันว่าหากฝ่ายหนึ่งฝ่ายใดสามารถสร้างพระธาตุเจดีย์ใหญ่เสร็จก่อนดาวเพ็กขึ้นฝ่ายนั้นจะเป็นผู้ชนะ[1]

ตามตำนานอุรังคธาตุกล่าวถึงโบราณสถานแห่งนี้ว่า ยังกล่าวว่า เมื่อพระมหากัสสปเถระและบริวารเดินทางมาถึงเมืองหนองหานหลวง กลุ่มสตรีชาวเมืองหนองหานได้ทูลขอแบ่งอุรังคธาตุ(กระดูกหน้าอก)ของสมเด็จพระสัมมาสัมพุทธเจ้า แต่พระมหาเถระผู้ใหญ่มิได้ทรงอนุญาตด้วยผิดวัตถุประสงค์ที่พระพุทธองค์ที่ตรัสไว้ให้นำอุรังคธาตุไปประดิษฐานบรรจุเจดีย์ที่ภูกำพร้า กลางลำน้ำโขง(พระธาตุพนม) แต่มิให้เสียศรัทธา พระมหากัสสัปะเถระผู้ใหญ่จึงมอบให้พระอรหันต์รูปหนึ่งไปนำพระอังคารธาตุจากที่ถวายเพลิงพระศพสมเด็จพระสัมมาสัมพุทธเจ้ามาประดิษฐานไว้ในพระเจดีย์แห่งนี้ จึงนับว่าพระธาตุนารายณ์เจงเวงเป็นโบราณสถานที่สำคัญของเมืองสกลนคร[2]

เมื่อครั้งปี พ.ศ. 2449 สมเด็จกรมพระยาดำรงราชานุภาพเมื่อครั้งทรงดำรงตำแหน่งเสนาบดีกระทรวงมหาดไทย พระองค์ได้เสด็จตรวจราชการมณฑลนครราชสีมา และมณฑลอุดรอีสาน รวม 56 วัน โดยได้นิพนธ์ไว้ในหนังสือเรื่องเที่ยวที่ต่าง ๆ ภาคที่ 4 เกี่ยวกับเมืองสกลนครไว้ว่า “วันที่ 15 มกราคม ขี่ม้าไปบ้านนาเวง ระยะทาง 15 เส้น ไปตามถนนขอมสร้างไว้แต่ดึกดำบรรพ์ มีสะพานหินเปนสพานศิลาแลง ฝีมือขอมทำดีน่าดูอยู่แห่ง 1 เปนของสมัยเดียวกันกับเทวสถาน ที่ตำบลนาเวงมีเทวสถานเรียกว่า “อรดีมายานารายณ์เจงเวง” ตั้งอยู่บนเนินซึ่งมีซุ้มไม้ร่มรื่นดี..”[3]