พระที่นั่งได้ใช้ลักษณะทางสถาปัตยกรรมบาโรก (Baroque) และแบบอาร์ต นูโว (Art Nouveau) หรือที่เยอรมันเรียกว่า "จุงเกนสติล" (Jugendstil) โดยจะเน้นความทันสมัยโดยจะไม่มีลายปูนปั้นวิจิตรพิสดารเหมือนอาคารในสมัยเดียวกัน พระที่นั่งหลังนี้จะเน้นในเรื่องของความสูงของหน้าต่าง ความสูงของเพดานซึ่งกว้างเป็นพิเศษ ทำให้พระที่นั่งดูใหญ่โต โอ่อ่า สง่างาม และตระการตา

แผนผังของตัวอาคารสร้างเป็นสี่เหลี่ยมผืนผ้าล้อมสวนหย่อม มีสระน้ำพุตั้งอยู่ตรงกลาง ส่วนที่ประทับเป็นตึกสองชั้นขนาดใหญ่ หลังคาทรงสูงรูปโดม ภายในเป็นโถงสูงมีบันไดโค้งขึ้นสู่ชั้นสองซึ่งจัดเป็นจุดเด่นของอาคาร เพราะรวมสิ่งน่าชมไว้หลายหลาก ตัวอย่างเช่น เสาที่ประดับด้วยกระเบื้องเคลือบและตกแต่งด้วยโลหะ ขัดเงา เสาเหล่านี้แล่นตลอดจากพื้นจดเพดานชั้นสองและประดับด้วยกระเบื้องเขียวเข้ากันกับบริเวณโดยรอบโถงบันได ที่หัวเสาตาม ราวบันไดโค้งมีตุ๊กตากระเบื้องรูปเด็กในอิริยาบถต่าง ๆ ประดับไว้ รอบบริเวณโถงบันไดชั้นบนยังมีกรอบลูกไม้กระเบื้องเคลือบประดับตามช่องโดยรอบอีกด้วย

พระที่นั่งหลังนี้ยังมีสิ่งที่น่าชมอีกมาก กล่าวคือ การตกแต่งภายในแต่ละห้องให้มีรูปลักษณ์แตกต่าง กันไปทั้งสีสันและวัสดุที่ใช้ เช่น บริเวณโถงบันไดใช้โทนสีเขียว ห้อง เสวยใช้โทนสีเหลือง ตกแต่งช่องประตูด้วยเหล็กดัดแบบอาร์ต นูโว และประดับผนังด้วยแผ่นกระเบื้องเคลือบสีเหลืองสด ตัดกรอบด้วยกระเบื้องเขียวเป็นช่อง ๆ ตามแนวยืน โดยกระเบื้องประดับผนังมีลวด ลายนูนเป็นรูปสัตว์และพรรณพืชต่าง ๆ แทรกอยู่เป็นระยะ ๆ ห้องพระบรรทมใช้โทนสีทอง โดยตกแต่งเสาในห้องด้วยแผ่นโลหะสีทองขัดเงาดุนลาย หัวเสาเป็นภาพเขียนแจกันดอกไม้หลากสี บนพื้นครึ่งวงกลมสีทอง ดูสง่างามและมลังเมลือง

การก่อสร้างพระที่นั่งแห่งนี้ มาสำเร็จในรัชสมัยพระบาทสมเด็จพระมงกุฎเกล้าเจ้าอยู่หัว เมื่อ พ.ศ. 2461 และพระราชทานนามว่า “พระที่นั่งศรเพ็ชรปราสาท” และทรงพระกรุณาโปรดเกล้าฯ พระราชทานนามที่ประทับแห่งใหม่ว่า “พระรามราชนิเวศน์”[2] นอกจากนี้ พระองค์ยังโปรดเกล้าฯ ให้พระเจ้าบรมวงศ์เธอ กรมหลวงชุมพรเขตอุดมศักดิ์ ทรงดำเนินการหล่อรูปปั้นพระนารายณ์ทรงปืนเพื่อนำมาประดิษฐานไว้ยังหน้าพระที่นั่ง (ปัจจุบัน รูปปั้นนี้ย้ายมาไว้ยังหน้าพระที่นั่งพุทไธสวรรย์ พิพิธภัณฑสถานแห่งชาติ พระนคร) แต่คนทั่วไปจะเรียกติดปากว่า "วังบ้านปืน" ตาม ชื่อเดิมของถิ่นที่อยู่นั่นเอง แม้ว่าพระรามราชนิเวศน์จะสร้างเสร็จในรัชกาลที่ 6 แต่พระองค์ก็มิได้เสด็จประพาสมายังพระราชนิเวศน์แห่งนี้บ่อยนัก จะเสด็จมาประทับเพื่อทอดพระเนตรการซ้อมเสือป่าบ้าง แต่ก็น้อยครั้งมาก วังนี้จึงเริ่มทรุดโทรมลงเรื่อย ๆ

ครั้นมาถึงรัชกาลของพระบาทสมเด็จพระปกเกล้าเจ้าอยู่หัว พระองค์โปรดฯ ให้ปรับพระราชนิเวศน์แห่งนี้เป็นสถานศึกษาของเหล่าครูในแขนงวิชาชีพต่าง ๆ มาจนกระทั่งวิชาชีพเหล่านี้แข็งแกรงขึ้นจนย้ายออกไปตั้งอยู่ที่อื่นได้ พระราชนิเวศน์แห่งนี้จึงถูกปล่อยให้ทรุดโทรมลงอีกครั้ง หลังจากนั้น พระองค์โปรดเกล้าฯ ให้ใช้พระราชนิเวศน์ฯ เป็นโรงเรียนฝึกหัดครูกสิกรรม โรงเรียนฝึกหัดครูผู้กำกับลูกเสือในพระบรมราชูปถัมภ์ และโรงเรียนประถมวิสามัญหญิง จนกระทั่ง โรงเรียนเหล่านี้ย้ายออกไป พระราชวังบ้านปืนจึงถูกทิ้งให้รกร้างอีกครั้ง

ในรัชสมัยพระบาทสมเด็จพระปรเมนทรมหาอานันทมหิดล เมื่อเกิดสงครามมหาเอเชียบูรพา ฝ่ายทหารได้ใช้พระราชวังนี้เป็นที่ตั้งกองบัญชาการทหาร ปัจจุบัน โปรดเกล้าฯ พระราชทานให้เป็นที่ตั้งของจังหวัดทหารบกเพชรบุรีและต่อมาได้เป็นมณฑลทหารบกที่ 15 และได้จัดเป็นพิพิธภัณฑ์ประวัติศาสตร์และศิลปะของจังหวัดเพชรบุรี โดยพระบาทสมเด็จพระบรมชนกาธิเบศร มหาภูมิพลอดุลยเดชมหาราช บรมนาถบพิตร รัชกาลที่ 9 โปรดฯ ให้ใช้พระรามราชนิเวศน์นี้เป็นหน่วยบัญชาการของทหารบก และเป็นพิพิธภัณฑ์ประวัติศาสตร์ศิลปะของจังหวัดเพชรบุรีด้วย