สมเด็จกรมพระยาดำรงราชานุภาพทรงสันนิษฐานว่า พระแท่นศิลาอาสน์อาจมีมาก่อนแล้วช้านาน ก่อนที่พระเจ้าบรมโกศเสด็จไปบูชา เพราะพระแท่นศิลาอาสน์อยู่ริมเมืองทุ่งยั้งซึ่งมีมาตั้งแต่ครั้งสมัยอาณาจักรเชียงแสนก่อนสุโขทัย และบางทีชื่อทุ่งยั้งนั้นเอง จะเป็นนิมิตให้เกิดมีพระแท่น เป็นที่พระพุทธเจ้าประทับยับยั้ง เมื่อเสด็จผ่านมาทางนั้น ในทางตำนานมีคติที่เชื่อว่าพระพุทธเจ้าได้เสด็จยังประเทศต่าง ๆ ภายนอกอินเดียด้วยอิทธิฤทธิ์ฌานสมาบัติ และได้ประดิษฐานเจดีย์ หรือตรัสพยากรณ์อะไรไว้ในประเทศเหล่านั้น เป็นคติที่เกิดในลังกาทวีป และประเทศอื่นได้รับเอาไปเชื่อถือด้วย จึงเกิดมีเจดีย์วัตถุและพุทธพยาการณ์ ที่อ้างว่าพระพุทธองค์ได้ทรงประดิษฐานเจดีย์ไว้ มากบ้าง น้อยบ้างทุกประเทศ เฉพาะเมืองไทย มีปรากฏในพงศาวดารโดยลำดับมาว่า พบรอยพระพุทธบาท ณ ไหล่เขาสุวรรณบรรพต เมื่อรัชกาลพระเจ้าทรงธรรม รัชกาลพระเจ้าเสือได้เสด็จไปบูชาพระพุทธฉาย ณ เขาปัถวี และพระเจ้าบรมโกศ เสด็จไปบูชาพระแท่นศิลาอาสน์

ตำนานพระแท่นศิลาอาสน์ได้กล่าวว่า พระพุทธเจ้าพร้อมกับพระอรหันต์500องค์ ได้เสด็จมาประทับยับยั้งที่เนินเขา นอกเมืองแห่งหนึ่ง ภายหลังเรียกเมืองนั้นว่า เมืองทุ่งยั้ง เจ้าอายลูกนายไทย ซึ่งเป็นใหญ่แก่คนทั้งหลายบริเวณนั้น จึงได้ประกาศให้ชาวเมือง นำเต้าแตงถั่วงาปลาอาหารมาถวาย พระพุทธเจ้าจึงได้เทสนาสั่งสอน พระอานนท์ได้นำบาตรพระพุทธเจ้าไปแขวนห้อยไว้บนต้นพุทรา ภายหลังเรียกว่า ต้นพุทราแขวนบาตร และพระพุทธเจ้าได้ทรงกระทำภัตตกิจบนแท่นศิลาที่พระโพธิสัตว์ทุกพระองค์เคยนั่งบำเพ็ญบารมี ภายหลังเรียกว่า พระแท่นศิลาอาสน์ เมื่อเสร็จแล้วพระพุทธเจ้าทรงแย้มพระโอษฐ์ พระอานนท์กับพระเรวตะจึงทูลถามถึงสาเหตุที่พระองค์ทรงแย้มพระโอษฐ์ พระพุทธเจ้าจึงตรัสตอบว่าในกาลบัดนี้ มีมหายักษ์ผู้หนึ่งได้นำเอาน้ำใส่คนโทแก้วมาถวาย แต่เดินไม่ระวังไปเหยียบมดง่ามที่หอมกลิ่นข้าวที่พระองค์ทำภัตตกิจตายไป4ตัว พระพุทธเจ้าได้ตรัสให้ศีลแก่มหายักษ์ มหายักษ์เลื่อมใสได้ถอดเขี้ยวแก้วถวายและลากลับไป และมีพุทธฎีกากับพระอานนท์ว่า ภายหลังพระองค์ปรินิพพานไปได้ 2,000 ปี มดง่ามทั้ง4จะได้กลับมาเกิดเป็นกษัตริย์ ทำนุบำรุงพระพุทธศาสนาให้รุ่งเรืองสืบไป แล้วทรงบ้วนพระโอษฐ์ใส่กระโถนศิลาแลงข้างพระแท่น ภายหลังเรียกว่า บ้วนพระโอษฐ์ (จากการค้นคว้าของอาจารย์ธีระวัฒน์ แสนคำ พบว่าเดิมวิหารพระแท่นศิลาอาสน์มีมุขยื่นออกมาจากตัววิหารด้านทิศเหนือเรียกว่า "มุขบ้วนพระโอษฐ์" ประดิษฐานบ้วนพระโอษฐ์ไว้ที่นั้น ภายหลังวิหารไฟไหม้ในปีพ.ศ. 2451 ช่างบูรณะได้ตัดส่วนมุขบ้วนพระโอษฐ์นี้ไปเสีย ปัจจุบันบ้วนพระโอษฐ์พระพุทธเจ้าถูกทิ้งไว้ข้างๆซุ้มประตูพิพิธภัณฑ์ท้องถิ่นวัดพระแท่นศิลาอาสน์) ครั้นเสร็จแล้วพระองค์จึงลุกจากแท่นศิลา มาประทับยืนเหนือแท่นศิลาบนภูเขาอีกยอด หันพระพักตร์ไปทางทิศเหนือ ทอดพระเนตรหนองน้ำใหญ่แห่งหนึ่ง ภายหลังเรียก หนองพระแล พระองค์ทรงประทับรอยพระพุทธบาทบนก้อนศิลานั้น ภายหลังคือวัดพระยืนพุทธบาทยุคล แล้วพระองค์เสด็จลงงจากเนินเขาไปทางทิศเหนือเพื่อเดินจงกรม จากนั้นพระพุทธเจ้าจึงเสด็จมาบรรทมเหนือแท่นศิลา เหนือเนินเขาอีกยอด ภายหลังคือวัดพระนอนพุทธไสยาสน์ ก่อนที่พระพุทธเจ้าจะเสด็จไปเมืองอื่นต่อไป สันนิฐานว่าตำนานพระแท่นศิลาอาสน์นี้ได้รับอิทธิพลมาจากตำนานพระเจ้าเลียบโลกของล้านนา เนื่องจากเมืองทุ่งยั้งอยู่ติดกับเขตล้านนา

มีเรื่องเล่าสืบต่อกันมาว่า นายช่างที่สร้างวิหาร วัดพระแท่นศิลาอาสน์ วัดพระฝาง และวัดสุทัศน์ เป็นนายช่างคนเดียวกัน บานประตูเก่าของพระวิหารเป็นไม้แกะสลักฝีมือดี แกะไม้ออกมาเด่น เป็นลายซ้อนกันหลายชั้น แม่ลายเป็นก้านขด ปลายเป็นรูปภาพต่าง ๆ เป็นลายเดียวกับลายบานมุขที่วิหารพระพุทธชินราช อาจสร้างแต่ครั้งพระเจ้าติโลกราช กษัตริย์แห่งราชอาณาจักรล้านนา เคียงคู่กับสมเด็จพระบรมไตรโลกนาถ กษัตริย์แห่งกรุงศรีอยุธยา ในสมัยนั้น

ต่อมาพระเจ้าบรมโกศมีพระราชศรัทธา ให้ทำประตูมุขตามลายเดิมถวายแทน แล้วโปรดให้เอาบานเดิมนั้นไปใช้เป็นบานวิหารวัดพระแท่นศิลาอาสน์ ประตูวิหารเก่าบานดังกล่าวได้ถูกไฟไหม้ไปเมื่อ วันที่ 25 มีนาคม พ.ศ. 2451 เป็นไฟป่าลุกลามไหม้เข้ามาถึงวัด ไฟไหม้ครั้งนั้น เหลือกุฏิซึ่งประดิษฐานหลวงพ่อธรรมจักรอยู่เพียงหลังเดียว ต่อมาพระยาวโรดมภักดีศรีอุตรดิตถ์นคร (อั้น หงษนันท์) เจ้าเมืองอุตรดิตถ์ ได้เรี่ยไรเงินสร้างและซ่อมแซมวิหาร ภายในวิหารมีซุ้มมณฑปครอบพระแท่นศิลาอาสน์ไว้[2]