• พระตำหนักเปี่ยมสุข เป็นพระตำหนักตึกแบบสเปนสูงสองชั้นพร้อมทั้งหอสูง เป็นที่ประทับแปรพระราชฐานของพระบาทสมเด็จพระภัทรมหาราชเกล้าเจ้าอยู่หัวและสมเด็จพระนางเจ้าสิริกิติ์ พระบรมราชินีนาถ ในอดีตเคยเป็นที่ประทับของพระบาทสมเด็จพระปกเกล้าเจ้าอยู่หัวและสมเด็จพระนางเจ้ารำไพพรรณี พระบรมราชินี

• พระตำหนักน้อย เป็นที่ประทับแปรพระราชฐานของสมเด็จพระเจ้าบรมวงศ์เธอ กรมพระสวัสดิวัดนวิศิษฎ์ และพระเจ้าวรวงศ์เธอ พระองค์เจ้าอาภาพรรณี พระบิดามารดาของสมเด็จพระนางเจ้ารำไพพรรณี พระบรมราชินี โปรดเสด็จไปประทับพักผ่อนเมื่อตามเสด็จไปหัวหิน และเคยเป็นที่ประทับของสมเด็จพระศรีนครินทราบรมราชชนนี

• พระตำหนักปลุกเกษม เป็นตำหนักโปร่ง ๆ แบบไทยปนสมัยใหม่ มีห้องนอนหลายห้องด้านหลัง ตั้งโต๊ะและเก้าอี้หมู่ และใกล้ ๆ กันนั้นมีห้องน้ำและห้องส้วมชั้นล่างมีห้องอีกหลายห้องเหมือนกัน สำหรับหม่อมเจ้าหญิงที่เป็นโสด ซึ่งใกล้ชิดในราชสำนักโดยเสด็จพระราชดำเนินไปตากอากาศด้วย ปัจจุบัน เป็นที่ประทับแปรพระราชฐานของ สมเด็จพระเทพรัตนราชสุดาฯ สยามบรมราชกุมารี

• พระตำหนักเอิบเปรม เอมปรีย์ เป็นที่ประทับแปรพระราชฐานของพระบรมวงศานุวงศ์ทุกพระองค์ ซึ่งพระตำหนักมีลักษณะชั้นเดียวคู่ฝาแฝด การก่อสร้างและการวางห้องเครื่องใช้ คล้ายคลึงกันตำหนักฝาแฝดนี้เตี้ยเกือบติดพื้นดินซึ่งสร้างเป็นแบบบังกาโลสำหรับตากอากาศชายทะเลอย่างแท้จริง

• ศาลาเริง เป็นศาลาเอนกประสงค์สำหรับเลี้ยงพระ พระราชทานเลี้ยง ทรงกีฬา ทรงดนตรีทั้งไทยเดิมและเทศ จัดฉายภาพยนตร์ที่ทรงถ่าย รวมไปถึงภาพยนตร์ต่างประเทศ การ์ตูนสำหรับเด็กในพระราชอุปการะ พร้อมจัดงานรื่นเริงและการแสดงต่าง ๆ

• ศาลาราชประชาสมาคม เดิมเรียกว่า อาคารอเนกประสงค์ มีลักษณะเป็นอาคาร 2 ชั้น ใต้ถุนโล่ง ชั้นล่างใช้เป็นลานจัดกิจกรรม ชั้นบนเป็นห้องประชุมขนาดใหญ่ สำหรับให้ข้าราชการเฝ้าทูลละอองธุลีพระบาทได้โดยไม่ต้องเสด็จฯกลับกรุงเทพมหานคร เช่น พิธีพระราชทานกระบี่ของนักเรียนนายร้อย เป็นต้น

ในรัชสมัยของพระบาทสมเด็จพระมหาภูมิพลอดุลยเดชมหาราช บรมนาถบพิตร ทรงใช้วังไกลกังวลเป็นที่ประทับแปรพระราชฐานในช่วงฤดูร้อน พร้อมด้วย สมเด็จพระนางเจ้าสิริกิติ์ พระบรมราชินีนาถ สมเด็จพระบรมโอรสาธิราช สยามมกุฎราชกุมาร สมเด็จพระเทพรัตนราชสุดาฯ สยามบรมราชกุมารี และพระบรมวงศานุวงศ์ทุกพระองค์ พระบาทสมเด็จพระมหาภูมิพลอดุลยเดชมหาราช บรมนาถบพิตร ทรงออกนามเรียกวังแห่งนี้ในพระราชนิพนธ์ เรื่อง "ทองแดง" ไว้ว่า "วังไกลกังวล"

ปัจจุบัน ทูลกระหม่อมหญิงอุบลรัตนราชกัญญา สิริวัฒนาพรรณวดีเสด็จมาประทับอยู่บ่อยครั้ง เนื่องจากพระที่นั่งบรมพิมาน อยู่ระหว่างบูรณะซ่อมแซม