มีเรื่องเล่าว่า ในสมัยกรุงศรีอยุธยา เมื่อครั้งที่สมเด็จพระเอกาทศรถ ยังทรงดำรงพระยศพระมหาอุปราช[2] วันหนึ่งพระองค์ได้เสด็จประพาสทางชลมารค เมื่อถึงบริเวณเกาะบางปะอิน เรือพระที่นั่งถูกพายุใหญ่พัด ทำให้เรือพระที่นั่งล่มลง สมเด็จพระเอกาทศรถทรงว่ายน้ำขึ้นไปบนเกาะนี้ ซึ่งเดิมชื่อ "เกาะบ้านเลน" และประทับอยู่กับชาวบ้าน

ในระหว่างประทับอยู่ ณ ที่นี้ สมเด็จพระเอกาทศรถได้หญิงชาวเกาะเป็นบาทบริจาริกา มีนามว่า "อิน" จึงเป็นเหตุให้คนทั่วไปเรียกเกาะนี้ต่อมาว่า "เกาะบางปะอิน" ต่อมาเมื่อพระองค์จะเสด็จกลับ พระองค์ก็ทรงพานางอินนี้กลับไปกรุงศรีอยุธยาด้วย นางอินผู้นี้จึงเป็นพระสนมในเวลาต่อมา และมีพระราชโอรสด้วยกัน เล่ากันว่าพระราชโอรสพระองค์นั้น คือ สมเด็จพระเจ้าปราสาททอง[3]

เมื่อปี พ.ศ. 2175 หลังจากที่สมเด็จพระเจ้าปราสาททองทรงขึ้นครองราชย์แล้ว พระองค์ทรงพระกรุณาโปรดเกล้าฯ ให้สร้างวัดขึ้นตรงบริเวณนิวาสสถานเดิมของพระมารดา และได้พระราชทานนามว่า "วัดชุมพลนิกายาราม" [4] และได้สร้างพระที่นั่งองค์หนึ่งเพื่อฉลองการที่พระราชเทวีประสูติสมเด็จพระเจ้าลูกเธอ พระนารายณ์ราชกุมาร พระราชทานนามว่า "พระที่นั่งไอศวรรย์ทิพยอาสน์" [5] พระราชวังบางปะอินจึงเป็นสถานที่ประทับของพระมหากษัตริย์ในฤดูร้อนสืบเนื่องกันมา จนกระทั่ง กรุงศรีอยุธยาได้เสียแก่พม่าเมื่อปี พ.ศ. 2310 ซึ่งทำให้พระราชวังแห่งนี้ถูกปล่อยให้รกร้างไป

พระราชวังบางปะอินกลับมาเป็นที่รู้จักอีกครั้ง เมื่อสุนทรภู่ได้ตามเสด็จฯ พระบาทสมเด็จพระพุทธยอดฟ้าจุฬาโลกมหาราชไปนมัสการพระพุทธบาทสระบุรี ซึ่งได้เดินทางผ่านพระราชวังบางปะอิน และได้ประพันธ์ถึงพระราชวังแห่งนี้ในนิราศพระบาท ว่า [2] [6]

ครั้นมาถึงรัชสมัยพระบาทสมเด็จพระจอมเกล้าเจ้าอยู่หัว แห่งกรุงรัตนโกสินทร์ พระองค์ได้เสด็จพระราชดำเนินไปยังกรุงศรีอยุธยา ประพาสผ่านพระราชวังบางปะอิน ทอดพระเนตรเห็นความร่มรื่นโดยรอบเป็นที่ต้องพระราชหฤทัย อีกทั้งยังเป็นเขตพระราชวังเก่าในสมัยกรุงศรีอยุธยา จึงทรงพระกรุณาโปรดเกล้าฯ ให้บูรณะพระราชวังบางปะอิน โดยสร้างพระที่นั่งองค์หนึ่งเป็นที่ประทับ เรือนแถวสำหรับเจ้านายฝ่ายในหนึ่งหลัง พลับพลาริมน้ำ และพลับพลากลางเกาะ พร้อมทั้งปฏิสังขรณ์วัดชุมพลนิกายารามขึ้นใหม่ [2]

ในรัชสมัยพระบาทสมเด็จพระจุลจอมเกล้าเจ้าอยู่หัว พระองค์ทรงพิจารณาเห็นว่า บางปะอินเป็นเกาะกลางน้ำ มึความเงียบสงบ มีเส้นทางการเดินเรือได้หลายทาง สมบูรณ์ด้วยพืชพันธุ์ธัญญาหาร และเป็นสถานที่เสด็จประพาสของพระบรมชนกนาถ จึงทรงพระกรุณาโปรดเกล้าฯ ให้สร้างพระที่นั่งและสิ่งก่อสร้างต่าง ๆ สำหรับแปรพระราชฐานดังที่ปรากฏให้เห็นอยู่ในปัจจุบันนี้[2]