เมื่อพระบาทสมเด็จพระพุทธยอดฟ้าจุฬาโลกมหาราชได้ทรงสร้างพระบรมมหาราชวัง ปราสาท และพระราชมณเฑียรแล้ว จึงทรงสร้างพระราชอุทยานสองข้างพระที่นั่งจักรพรรดิพิมาน เรียกว่า สวนซ้ายและสวนขวา โดยใช้เป็นที่ทรงพระสำราญพักผ่อนพระอิริยาบถหลังจากว่างพระราชภารกิจ[1] โดยโปรดให้ขุดสระและปลูกตำหนักทองที่ประทับกลางสระหนึ่งหลัง สร้างพลับพลาที่เสวยริมปากอ่างแก้วหน้าเขาฟองน้ำอีกแห่งหนึ่ง และโปรดฯ ให้กั้นกำแพงรอบบริเวณ[2]

รัชสมัยของพระบาทสมเด็จพระพุทธเลิศหล้านภาลัย เป็นระยะปลอดจากศึกสงคราม โปรดให้ขยายเขตพระราชอุทยานและเปลี่ยนแปลงแก้ไขมากมาย โดยมีพระเจ้าลูกยาเธอ กรมหมื่นเจษฎาบดินทร์ เป็นแม่กองจัดการสร้าง โปรดฯ ให้ขยายสระที่สร้างตั้งแต่สมัยรัชกาลที่ 1 ออกไปมีความยาว 3 เส้น 4 วา กว้าง 2 เส้น 8 วา โดยมีหมายกำหนดยกเสาพระที่นั่งเมื่อวันศุกร์เดือน ๙ แรม ๕ ค่ำ ตรงกับวันศุกร์ที่ 21 สิงหาคม พ.ศ. 2361 อันเป็นปีที่ 10 ในรัชกาลที่ 2[3] ข้างหน้าสระลงเขื่อนก่ออิฐ พื้นสระปูอิฐถือปูน และก่อภูเขาขึ้นที่ริมสระน้ำ ทั้งนี้ยังโปรดให้สร้างเก๋งจีน หอพระ พระที่นั่งอย่างฝรั่ง และกำแพงแก้วล้อมรอบพระราชอุทยาน

ในรัชกาลพระบาทสมเด็จพระจุลจอมเกล้าเจ้าอยู่หัว ได้โปรดให้สร้างพระที่นั่งภานุมาศจำรูญขึ้นทางทิศเหนือของสวนศิวาลัย เพื่อพระบาทสมเด็จพระมงกุฎเกล้าเจ้าอยู่หัว ขณะทรงดำรงตำแหน่งสมเด็จพระบรมโอรสาธิราช เจ้าฟ้ามหาวชิราวุธ สยามมกุฎราชกุมาร จะได้เสด็จประทับ แต่สมเด็จพระบรมโอรสาธิราช เจ้าฟ้ามหาวชิราวุธ สยามมกุฎราชกุมาร มิได้เสด็จประทับ ด้วยพระองค์ทรงมีข้าราชบริพารเป็นชายจำนวนมากทรงเกรงว่าจะไม่เรียบร้อยควรแก่การเข้าอยู่ในพระราชฐาน จึงขอพระราชทานพระบรมราชานุญาตประทับอยู่ ณ พระราชวังสราญรมย์ (ปัจจุบันเป็นส่วนหนึ่งของที่ทำการกระทรวงการต่างประเทศ) ครั้นถึงรัชกาลพระบาทสมเด็จพระมงกุฎเกล้าเจ้าอยู่หัว ได้โปรดเกล้าฯ ให้ประกาศเปลี่ยนนามพระที่นั่งภานุมาศจำรูญเป็น "พระที่นั่งบรมพิมาน"

ในรัชกาลที่ 9 ทรงพระกรุณาโปรดเกล้าฯ ให้บูรณะพระที่นั่งบรมพิมาน เพื่อจัดเป็นที่พักรับรองพระราชอาคันตุกะชั้นประมุขของประเทศ และที่เป็นพระราชวงศ์ชั้นสูงของนานาประเทศที่มีทางพระราชไมตรีกับประเทศไทย