สันนิษฐานว่า สร้างขึ้นในสมัยกรุงศรีอยุธยาตอนต้นในรัชสมัยสมเด็จพระบรมราชาธิราชที่ ๑ (ขุนหลวงพระงั่ว) ประมาณ พ.ศ. ๑๙๒๐ ตามตำนานกล่าวว่า หม่อมหลวงชีดำได้สร้างขึ้นเพื่อจะบรรจุอัฐิของพระมารดา และญาติๆ ต่อมาจึงได้ร่วมกับพี่น้อง ๒ พระองค์ สร้าง คือ เจ้าฟ้าขาวและเจ้าฟ้าเขียว โดยแบ่งกันสร้างดังนี้

หม่อมหลวงชีดำ สร้างพระนอนและวิหาร        

เจ้าฟ้าขาว สร้างหลวงพ่อขาวและวิหาร                      

เจ้าฟ้าเขียว สร้างพระยืน และวิหาร         

ได้รับพระราชทานวิสุงคามสีมา เมื่อ พ.ศ. ๑๙๓๐ เดิมชื่อว่า “วัดสามพิหาร” ต่อมาภายหลังได้เปลี่ยนเป็น “วัดสามวิหาร” เนื่องจากเดิมนั้นมี ๓ วิหาร คือวิหารพระนอน วิหารพระนั่ง และวิหารพระยืน แต่ปัจจุบันนี้ เหลืออยู่ ๒ วิหาร คือ วิหารพระนอนและวิหารพระนั่ง เท่านั้น  ส่วนวิหารพระยืนนั้นได้สลักหักพังไปตามกาลเวลา และไม่มีผู้ใดได้สร้างทดแทนอีกเลย

พงศาวดาร

วัดสามวิหาร มีปรากฏเรื่องในพงศาวดาร ๒ ครั้ง

ครั้งแรก ในรัชสมัยสมเด็จพระมหาจักรพรรดิ เมื่อพระเจ้าตะเบ็งชะเวตี้ ทรงยกทัพผ่านค่ายโพธิ์สามต้นมาตามทุ่งเพนียดคล้องช้างและเข้าประชิดกรุงศรีอยุธยา พระองค์ทรงช้างพระที่นั่งยืนอยู่หน้าวัดสามวิหาร ทรงเร่งให้แม่ทัพนายกองต้อนพลเข้าเผด็จศึกกรุงศรีอยุธยา พระยารามเอาปืนนารายณ์สังหาร ลงสำเภาแล้วยิงขึ้นไปถูกกิ่งโพธิ์ใหญ่หัก ๒ กำ ตกลงต้องสัปทนและช้างพระที่นั่งของพระเจ้าตะเบ็งชะเวตี้ ขณะนั้นชาวป้อมมหาชัยก็ยิงปืนน้อยใหญ่เข้าใส่ ถูกรี้พลข้าศึกบาดเจ็บล้มตายเป็นจำนวนมาก พระเจ้าตะเบ็งชะเวตี้ จึงได้ถอยทัพกลับไป

ครั้งที่สอง ในแผ่นดินของพระมหาธรรมราชา พระละแวกยกพลมาตีกรุงศรีอยุธยามาตีกรุงศรีอยุธยา ในปีพุทธศักราช ๒๑๑๓ ทรงยืนอยู่ในวัดสามวิหารมีช้างแม่ทัพนายกองห้อมล้อม ๓๐ เชือก เตรียมข้ามคลองเมืองเข้าตีกรุงศรีอยุธยา พระมหาธรรมราชาโปรดให้ยิงปืนใหญ่บนเชิงเทินพร้อมกัน กระสุนลูกหนึ่งต้องพระจำปาธิราชสวรรคตบนคอช้าง พระยาละแวกพยายามยกพลเข้าตีกรุงศรีอยุธยา ๓ ครั้งแต่ไม่สำเร็จ จึงถอยทัพกลับไป

วัดสามวิหาร ได้เกี่ยวข้องกับกษัตริย์ทั้งสองพระองค์ คือ สมเด็จพระเจ้าตากสินมหาราช และพระบาทสมเด็จพระพุทธยอดฟ้าจุฬาโลกมหาราช เมื่อครั้ง ยังทรงพระเยาว์ได้บรรพชาเป็นสามเณรพร้อมกับเด็กชายบุนนาค และพำนักอยู่ที่วัดสามวิหาร ทั้ง ๓ รูป คือ สามเณรสิน สามเณรทองด้วง และสามเณรบุนนาค  จึงเป็นเพื่อนสนิทกัน