ด้วยเหตุที่พระบาทสมเด็จพระจุลจอมเกล้าเจ้าอยู่หัวมีพระราชประสงค์ที่จะมีพระราชวังนอกพระนครเพื่อประทับค้างแรมได้โดยสะดวก จังหวัดเพชรบุรีที่พระองค์มีพระประสงค์จะให้เป็นพระราชวังที่ใช้ประทับยามหน้าฝน พระองค์จึงมีพระราชโครงการให้ซื้อที่ดินจากชาวบ้านที่เขตบ้านปืน ริมแม่น้ำเพชรบุรี โดยมีสมเด็จพระเจ้าบรมวงศ์เธอ กรมพระยาดำรงราชานุภาพ และสมเด็จพระเจ้าบรมวงศ์เธอ เจ้าฟ้าบริพัตรสุขุมพันธุ์ กรมพระนครสวรรค์วรพินิต เป็นแม่งานควบคุมการก่อสร้าง และมีพระบัญชาให้ คาร์ล ซีกฟรีด เดอห์ริง (Karl Siegfried Dohring) ผู้เคยออกแบบ วังบางขุนพรหม วังวรดิศ และวังพระองค์เจ้าดิลกนพรัฐมาแล้ว เป็นสถาปนิกออกแบบ

นายดอห์ริงได้เลือกผู้ร่วมงานทั้งสถาปนิก วิศวกร และมัณฑนากรเป็นชาวเยอรมันทั้งสิ้น เพื่อการทำงานให้มีศิลปะเป็นแบบเดียวกันพระที่นั่งองค์นี้จึงมีรูปแบบศิลปะตะวันตกอย่างเต็มตัว ซึ่งพระบาทสมเด็จพระจุลจอมเกล้าเจ้าอยู่หัวมีพระราชประสงค์ที่ต้องการพระตำหนักแบบโมเดิร์นสไตล์ สถาปนิกจึงได้ออกแบบมาในลักษณะสถาปัตยกรรมแบบเยอรมัน โดยได้แบบแผนมาจากตำหนักในพระราชวังของพระเจ้าไกเซอร์แห่งเยอรมันที่ทรงเคยประทับ