สมเด็จพระเจ้าภคินีเธอ เจ้าฟ้าเพชรรัตนราชสุดา สิริโสภาพัณณวดี และพระนางเจ้าสุวัทนา พระวรราชเทวี เคยมีที่ประทับส่วนพระองค์แห่งแรก ณ พระตำหนักสวนรื่นฤดี ตรงถนนราชสีมาตัดกับถนนสุโขทัย แต่ครั้นเมื่อทั้งสองพระองค์เสด็จออกไปประทับ ณ ประเทศอังกฤษ ช่วงสงครามโลกครั้งที่สองเศรษฐกิจฝืดเคือง พระนางเจ้าสุวัทนา พระวรราชเทวี จึงทรงขายที่ดินสวนรื่นฤดีให้แก่กองทัพบก ปัจจุบันเป็นที่ตั้งของกองอำนวยการรักษาความมั่นคงภายในราชอาณาจักร [2]

ต่อมาเมื่อคราวทั้งสองพระองค์ ทรงพระดำริที่จะเสด็จนิวัติประเทศไทยเป็นการถาวร ขณะพระนางเจ้าสุวัทนาฯ ประทับที่บ้านหลวงเสถียรโชติกสาร พระภาดา (ปัจจุบันเป็นทำเนียบเอกอัครราชทูตนอร์เวย์ประจำประเทศไทย) ในซอยสุขุมวิท 38 ทรงถูกพระทัยที่ดินผืนหนึ่งตรงกันข้ามกับบ้านหลวงเสถียรฯ จึงทรงซื้อที่ดินทั้งจากนายแมนฟุ้ง เนียวกุลและนายเออี นานา ในท้ายซอยสันติสุข สุขุมวิท 38 ซึ่งมีพื้นที่กว่า 7 ไร่[3] แล้วพระนางเจ้าสุวัทนาฯทรงพระกรุณาโปรดให้มีพลเรือตรีสมภพ ภิรมย์ ศิลปินแห่งชาติ ออกแบบตำหนักถวายให้ทอดพระเนตร และมีพระวินิจฉัย แล้วจึงให้ บริษัท สี่พระยาวัตถุโบราณ จำกัด เป็นผู้รับเหมาก่อสร้าง สร้างวังขนาดย่อมขึ้นในพุทธศักราช 2500 เพื่อเป็นที่ประทับแล้วเสด็จไปประเทศอังกฤษอีกในปี พ.ศ. 2501 เพื่อทรงเตรียมพระองค์เสด็จกลับประเทศไทยเป็นการถาวร จากนั้นจึงได้เสด็จนิวัตประเทศไทยเป็นการถาวรเมื่อวันที่ 9 พฤศจิกายน พ.ศ. 2502[3] เมื่อทรงประทับ ณ วังแห่งใหม่ พระนางเจ้าสุวัทนาฯ ประทานนามว่า วังรื่นฤดี เมื่อวันที่ 4 พฤษภาคม พ.ศ. 2503[4] อันมีความหมายว่า ความเบิกบานสบายใจ[3] ซึ่งตั้งอยู่เลขที่ 69 ซอยสุขุมวิท 38 กรุงเทพมหานคร และพระองค์ได้ประทับอยู่ตราบกระทั่งสิ้นพระชนม์[5] ส่วนในช่วงฤดูร้อนทั้งสองพระองค์จะเสด็จแปรพระราชฐานไปประทับไปยังพระตำหนักพัชราลัย ถนนเพชรเกษม อำเภอหัวหิน จังหวัดประจวบคีรีขันธ์

ภายหลังการสิ้นพระชนม์ของพระนางเจ้าสุวัทนา พระวรราชเทวี ในปี พ.ศ. 2528 สมเด็จพระเจ้าภคินีเธอ เจ้าฟ้าเพชรรัตนราชสุดา สิริโสภาพัณณวดี ก็ยังคงประทับอยู่ ณ วังรื่นฤดี โดยพระบาทสมเด็จพระปรมินทรมหาภูมิพลอดุลยเดชโปรดเกล้าฯ ให้องคมนตรีผลัดเปลี่ยนกันอัญเชิญดอกไม้และผลไม้ และสังเกตพระอนามัยของพระองค์เป็นประจำทุก 2 สัปดาห์ มีการจัดตำรวจคอยอารักขาตลอดเวลา และโปรดฯให้ห้องเครื่องสวนจิตรลดาจัดเครื่องเสวยมาทุกวัน[6] นอกจากนี้ยังทรงพระกรุณาโปรดเกล้าฯ ให้เลขาธิการพระราชวังจัดกรมวัง และสารถีมาปฏิบัติหน้าที่ประจำทั้งภายในวังที่ประทับ และจัดเจ้าหน้าที่มาตกแต่งสถานที่ และปฏิบัติในเวลาที่มีงานพิเศษ เช่น งานวันคล้ายวันประสูติ และการทรงบำเพ็ญพระกุศลอย่างสมพระเกียรติยศทุกประการ[6]

วังรื่นฤดีมีสวนโดยรอบที่งดงาม มีสระน้ำขนาดใหญ่ นอกจากองค์ตำหนักซึ่งตั้งอยู่เป็นประธานแล้ว ในบริเวณยังประกอบด้วยอาคารต่างๆ สำหรับประโยชน์ใช้สอยต่าง ๆ กัน เช่น เรือนพักราชองครักษ์ ส่วนต่อเติมสำหรับสำนักผู้บริหารงานในสมเด็จพระเจ้าภคินีเธอฯ ศาลาที่พักรอเฝ้า ห้องพักกรมวัง และป้อมยามกองรักษาการณ์ เป็นต้น