ครั้นรัชสมัยพระบาทสมเด็จพระพุทธยอดฟ้าจุฬาโลกมหาราช ได้ทรงกำหนดเขตวังให้แคบกว่าเดิม โดยให้วัดทั้งสองที่กล่าวแล้วคือ วัดอรุณราชวราราม (วัดแจ้ง) และวัดโมลีโลกยาราม (วัดท้ายตลาด) อยู่ภายนอกพระราชวัง และ นอกจากนี้ทรงแต่งตั้งพระราชวงศ์ชั้นสูงที่ได้รับความไว้วางพระราชหฤทัยมาประทับที่นี่ อันเนื่องจากเห็นว่าพระราชวังนี้มีความสำคัญทางด้านทำเลที่ตั้ง ได้แก่ [2]

• สมเด็จพระสัมพันธวงศ์เธอ เจ้าฟ้ากรมหลวงธิเบศรบดินทร์ พระโอรสในกรมพระเทพสุดาวดี ประทับอยู่จนสิ้นพระชนม์เมื่อ พ.ศ. 2328
• พระบาทสมเด็จพระพุทธเลิศหล้านภาลัย (รัชกาลที่ 2) ประทับอยู่ขณะทรงพระอิสริยยศเป็น (สมเด็จพระเจ้าลูกยาเธอ เจ้าฟ้าฉิม กรมหลวงอิศรสุนทร) วังหน้าในพระบาทสมเด็จพระพุทธยอดฟ้าจุฬาโลกมหาราช (รัชกาลที่ 1) จนกระทั่งเสด็จขึ้นครองราชย์สมบัติในปี พ.ศ. 2352
• สมเด็จพระสัมพันธวงศ์เธอ เจ้าฟ้ากรมหลวงพิทักษ์มนตรี พระโอรสใน สมเด็จพระเจ้าพี่นางเธอ เจ้าฟ้ากรมพระศรีสุดารักษ์ ประทับอยู่ในรัชสมัยพระบาทสมเด็จพระพุทธเลิศหล้านภาลัย (รัชกาลที่ 2) จนสิ้นพระชนม์เมื่อ พ.ศ. 2365
• พระบาทสมเด็จพระจอมเกล้าเจ้าอยู่หัว (รัชกาลที่ 4) ประทับอยู่ขณะทรงพระอิสริยยศเป็น สมเด็จพระเจ้าลูกยาเธอ เจ้าฟ้ามงกุฎในพระบาทสมเด็จพระพุทธเลิศหล้านภาลัย (รัชกาลที่ 2) จนกระทั่งผนวชเมื่อ พ.ศ. 2368
• พระบาทสมเด็จพระปิ่นเกล้าเจ้าอยู่หัว ประทับอยู่ขณะทรงพระอิสริยยศเป็น สมเด็จพระเจ้าลูกยาเธอ เจ้าฟ้าจุฑามณี ในรัชสมัยพระบาทสมเด็จพระพุทธเลิศหล้านภาลัย (รัชกาลที่ 2) จนกระทั่งทรงพิธีบวรราชาภิเษก และเสด็จไปประทับที่วังหน้าใน พ.ศ. 2394 ในรัชสมัยพระบาทสมเด็จพระจอมเกล้าเจ้าอยู่หัว (รัชกาลที่ 4)
• กรมพระราชวังบวรวิไชยชาญ ประทับอยู่ตั้งแต่ทรงพระประสูติ กระทั่งเสด็จไปประทับที่วังใหม่ที่พระบาทสมเด็จพระปิ่นเกล้าเจ้าอยู่หัว ทรงสร้างพระราชทาน
• พระเจ้าบรมวงศ์เธอ กรมหลวงวงศาธิราชสนิท ประทับอยู่ตั้งแต่ พ.ศ. 2394 ในรัชสมัยพระบาทสมเด็จพระจอมเกล้าเจ้าอยู่หัว (รัชกาลที่ 4) จนสิ้นพระชนม์เมื่อ พ.ศ. 2414
• สมเด็จพระเจ้าบรมวงศ์เธอ เจ้าฟ้าจาตุรนต์รัศมี กรมพระจักรพรรดิพงษ์ ประทับอยู่ขณะทรงพระอิสริยยศเป็น สมเด็จพระเจ้าน้องยาเธอ เจ้าฟ้าจาตุรนต์รัศมี ในรัชสมัยพระบาทสมเด็จพระจุลจอมเกล้าเจ้าอยู่หัว (รัชกาลที่ 5) ตั้งแต่ พ.ศ. 2424 จนสิ้นพระชนม์เมื่อ พ.ศ. 2443

มาในรัชสมัยพระบาทสมเด็จพระจุลจอมเกล้าเจ้าอยู่หัว (รัชกาลที่ 5) หลังจากสมเด็จพระบรมวงศ์เธอ เจ้าฟ้าจาตุรนต์รัศมี กรมพระจักรพรรดิพงษ์ สิ้นพระชนม์ ได้พระราชทานพระราชวังเดิมให้เป็นที่ตั้งของโรงเรียนนายเรือ ตามคำกราบบังคมทูลขอพระราชทานจากนายพลเรือตรี พระเจ้าลูกยาเธอ กรมหมื่นชุมพรเขตรอุดมศักดิ์ เมื่อ พ.ศ. 2449 หลังจากโรงเรียนนายเรือย้ายออกไปอยู่สัตหีบ และย้ายมาอยู่ที่สมุทรปราการ กองทัพเรือจึงได้ใช้ พระราชวังเดิมแห่งนี้เป็นที่ตั้งกองบัญชาการกองทัพเรือ[3]