เมื่อพระบาทสมเด็จพระปิ่นเกล้าเจ้าอยู่หัวเสด็จมาประทับยังพระบวรราชวัง พระองค์ทรงสร้างพระราชมณเฑียรแห่งใหม่ขึ้น โดยมีลักษณะเป็นเก๋งจีน เมื่อพระองค์เสด็จเข้าไปประทับ ณ พระราชมณเฑียรแห่งใหม่นั้น พระองค์เกิดพระอาการประชวรติดต่อเป็นเวลานาน เมื่อซินแสเข้ามาดูจึงกราบทูลว่า เนื่องจากพระที่นั่งเก๋งจีนองค์นี้ สร้างในที่ฮวงจุ้ยที่เป็นอัปมงคล ดังนั้น พระองค์จึงโปรดให้รื้อพระที่นั่งเก๋งจีนลง ไปปลูกไว้ที่นอกวัง

หลังจากนั้น พระบาทสมเด็จพระปิ่นเกล้าเจ้าอยู่หัวโปรดฯ ให้สร้างพระที่นั่งองค์ใหม่บริเวณที่สร้างพระที่นั่งเก๋งจีนองค์เดิม แต่ได้เลื่อนตำแหน่งที่ตั้งไปทางทิศตะวันออก ลักษณะเป็นตึกฝรั่ง เรียกพระที่นั่งองค์นี้ว่า "พระที่นั่งวงจันทร์" ตามพระนามของ พระเจ้าราชวรวงศ์เธอ พระองค์เจ้าวงจันทร์[4]

ภายหลังพระบาทสมเด็จพระปิ่นเกล้าเจ้าอยู่หัวสวรรคต พระบาทสมเด็จพระจอมเกล้าเจ้าอยู่หัว ได้พระราชทานนามพระที่นั่งใหม่ว่า "พระที่นั่งอิศเรศราชานุสรณ์"