ในรัชสมัยพระบาทสมเด็จพระจอมเกล้าเจ้าอยู่หัวเป็นช่วงเวลาที่มีการติดต่อทั้งในด้านการค้าขาย และการเจริญสัมพันธไมตรีกับชาติตะวันตกมากขึ้น จึงมีการทูลเกล้าฯ สิ่งของจากชาติตะวันตกที่ไม่เคยมีภายในประเทศมาก่อน โดยการที่จะนำสิ่งของเหล่านั้นไปประดับไว้ที่พระที่นั่งที่มีสถาปัตยกรรมไทยประเพณี ก็อาจจะขัดกับสถานที่ ดังนั้น พระองค์จึงมีพระราชดำริให้จัดสร้างพระราชมนเทียรแห่งใหม่ขึ้น โดยสร้างในสถาปัตยกรรมแบบตะวันตก เพื่อใช้เป็นสถานที่ต้อนรับแขกบ้านแขกเมือง พร้อมทั้งเก็บรักษาสิ่งของที่ได้รับการทูลเกล้าฯ จากชาวตะวันตกด้วย นอกจากนี้ ยังเพื่อเป็นพระเกียรติยศของพระองค์ ดังเช่นพระที่นั่งดุสิตมหาปราสาท เป็นพระเกียรติยศแด่พระบาทสมเด็จพระพุทธยอดฟ้าจุฬาโลกมหาราช พระที่นั่งมหิศรปราสาท พุทธมนเทียร และโรงช้างเผือกทั้ง 4 เป็นพระเกียรติยศแด่พระบาทสมเด็จพระพุทธเลิศหล้านภาลัย และพระที่นั่งสุทไธสวรรย์ปราสาท เป็นพระเกียรติยศแด่พระบาทสมเด็จพระนั่งเกล้าเจ้าอยู่หัว[1]

โดยสถานที่ที่เหมาะสมในการสร้างพระราชมนเทียรแห่งใหม่นี้ทรงเลือกบริเวณ “สวนขวา” ที่ตั้งอยู่ในทิศตะวันออกของหมู่พระที่นั่งจักรพรรดิพิมานภายในพระบรมมหาราชวัง ซึ่งเดิมเป็นราชอุทยานสำหรับพระมหากษัตริย์เสด็จประพาส โดยพระองค์แบ่งพื้นที่ออกเป็น 2 ส่วน ในส่วนแรกนั้น พระองค์ทรงกั้นพื้นที่ไว้เป็นวัดในวัง ขนานนามว่า “พระพุทธนิเวศน์” และส่วนที่เหลือโปรดให้สร้างพระราชมนเทียรขึ้น พระราชทานนามว่า “พระอภิเนาว์นิเวศน์”

พระอภิเนาว์นิเวศน์ เริ่มสร้างตั้งแต่ปี พ.ศ. 2397 พระองค์โปรดให้สมเด็จเจ้าพระยาบรมมหาพิชัยญาติ (ทัต บุนนาค) เป็นแม่กอง ต่อมา เมื่อสมเด็จเจ้าพระยาบรมมหาพิชัยญาติถึงแก่พิราลัย จึงโปรดให้เจ้าพระยาศรีสุริยวงศ์ (ช่วง บุนนาค) เป็นแม่กองแทน นอกจากนี้ ยังมีพระยาเพชรพิไชยและพระยาสามภพพ่ายเป็นนายงาน กรมขุนราชสีหวิกรมเป็นนายช่าง สร้างแล้วเสร็จเมื่อปี พ.ศ. 2402[2]

ในรัชสมัยพระบาทสมเด็จพระจุลจอมเกล้าเจ้าอยู่หัว พระอภิเนาว์นิเวศน์ชำรุดทรุดโทรมมากยากที่จะซ่อมแซมได้ จึงจำเป็นต้องรื้อหมู่พระที่นั่งลงทั้งหมด และไม่ได้มีการสร้างพระอภิเนาว์นิเวศน์ขึ้นอีก เนื่องจากสถานที่ไม่เอื้ออำนวย อย่างไรก็ตาม พระองค์ทรงพระกรุณาโปรดเกล้าฯ ยกนามพระที่นั่งบางองค์ภายในพระอภิเนาว์นิเวศน์มาตั้งเป็นนามพระที่นั่งภายในพระราชวังดุสิตด้วย[3]