วังไกลกังวลสร้างขึ้นตามรับสั่งของพระบาทสมเด็จพระปกเกล้าเจ้าอยู่หัว โดยทรงพระราชทรัพย์ส่วนพระองค์จากพระคลังข้างที่ ให้สร้างขึ้นเมื่อเดือนตุลาคม พ.ศ. 2469 เพื่อพระราชทานแด่สมเด็จพระนางเจ้ารำไพพรรณี พระบรมราชินี โดยมีหม่อมเจ้าอิทธิเทพสรรค์ กฤดากร ผู้อำนวยการศิลปากรสถานในขณะนั้นเป็นสถาปนิกผู้ออกแบบและควบคุมการก่อสร้าง เพื่อใช้งานในการแปรพระราชฐานมาพักในจังหวัดริมทะเล

พระบาทสมเด็จพระปกเกล้าเจ้าอยู่หัวทรงออกพระนามเรียกวังแห่งนี้ว่า "สวนไกลกังวล" ทรงเอาแบบอย่างชื่อมาจากพระราชวังซ็องซูซีในประเทศเยอรมนีซึ่งมีความหมายเดียวกัน ทรงสมโภชขึ้นตรงวังเมื่อ พ.ศ. 2472 เนื่องจากไม่ปรากฏหลักฐานว่ามีพระบรมราชโองการประกาศยกเป็นพระราชวัง ดังนั้น จึงยังคงเรียกว่า วังไกลกังวล[1]