หลังจากความวุ่นวายทางการเมืองเมื่อเกิดเหตุการณ์กบฏบวรเดช และการเปลี่ยนแปลงการปกครองได้ผันผ่านไป พระนางเจ้าสุวัทนา พระวรราชเทวี มีพระดำริจะสร้างที่ประทับเป็นของพระองค์เองและพระราชธิดา จึงทรงพระกรุณาโปรดให้สร้างตำหนักที่ประทับสำหรับพระองค์ และ สมเด็จพระเจ้าภาติกาเธอฯ ขึ้น บนที่ดินริมถนนนครราชสีมาตัดกับถนนสุโขทัย โดยนำแบบจากตำหนักที่พระบาทสมเด็จพระมงกุฎเกล้าเจ้าอยู่หัว ทรงกำหนดจะสร้างพระราชทาน แล้วเสร็จในปลายปี พ.ศ. 2477 พร้อมกับพระราชทานนามตำหนักแห่งนี้ว่า พระตำหนักสวนรื่นฤดี

องค์ตำหนักเป็นตึกสองชั้นครึ่ง สร้างด้วยสถาปัตยกรรมสมัยใหม่ผสมอเมริกัน สง่างามด้วยรูปทรงเรียบทันสมัย หลังคาเป็นทรงปั้นหยาลาดชัน มีอัฒจันทร์กว้างขึ้นสู่มุขด้านหน้า เหนือขึ้นไปเป็นระเบียงทึบมีคิ้วคอนกรีตต่อเนื่องกับคิ้วที่ผนังรอบอาคาร มีพระแกลกว้างโดยรอบและมีช่องแสงรูปวงกลม คิ้ว คาน และพระแกลสีอ่อนตัดกับตำหนักสีเข้ม

สวนรื่นฤดีแห่งนี้ สมเด็จพระเจ้าภาติกาเธอฯ ได้ทรงพระอักษรตามหลักสูตรของกระทรวงศึกษาธิการ โดยพระอาจารย์พิเศษจากโรงเรียนราชินีต่อมาได้เสด็จไปทรงพระอักษร ณ โรงเรียนราชินี จนจบชั้นประถมศึกษาปีที่ ๓ แล้วทรงลาออกมาทรงพระอักษรกับมิสซิสเดวีส์ อดีตครูโรงเรียนวัฒนาวิทยาลัย และนางสาวศรีนาถ สุทธะสินธุ (ศาสตราจารย์เกียรติคุณ ท่านผู้หญิงศรีนาถ สุริยะ) ตลอดทั้งยังทรงเรียนเปียโนกับมิสเซดี้อีกด้วยสวนรื่นฤดี ตำหนักใหม่ที่พระนางเจ้าสุวัทนา พระวรราชเทวี โปรดให้สร้างเป็น ตำหนักที่ร่มรื่นสวยงาม ประกอบด้วยสวนผลไม้ นานาชนิด เช่น มะม่วง ชมพู่ ขนุน มะปราง ฯลฯ และมีสระสรงน้ำ (สระว่ายน้ำ) สำหรับเสด็จลงสรงน้ำเป็นประจำด้วย

เมื่อ สมเด็จพระเจ้าภาติกาเธอ เจ้าฟ้าเพชรรัตนราชสุดา สิริโสภาพัณณวดี มีพระชนมายุ 12 พรรษา พระนางเจ้าสุวัทนาฯ ทรงสังเกตได้ว่าพระอนามัยของสมเด็จพระเจ้าภคินีเธอฯ มีลักษณะพิเศษ เช่นทรงมีความสามารถด้านการคำนวณ การจดจำทิศทาง และความสนใจจดจ่อต่อสิ่งต่าง ๆ รอบตัวที่ผิดแผกจากเด็กสามัญทั่วไป จึงมีพระดำริจะทรงพาสมเด็จพระเจ้าภาติกาเธอฯ ไปทรงศึกษาต่อและประทับรักษาพระองค์ยังต่างประเทศ

เมื่อเกิดเหตุการณ์สงครามโลกครั้งที่ 2 ขณะทรงประทับยังสหราชอาณาจักร จึงเสด็จลี้ภัยไปที่แคว้นเวลล์ เมื่อเสด็จกลับมาเมืองไบรตันแล้ว ทรงซื้อพระตำหนักใหม่ ซึ่งความอัตคัตขัดสนก็บังเกิดขึ้น เพราะต้องชุบเลี้ยงบรรดาข้าหลวง และ เลี้ยงต้อนรับคนไทยที่ไปเฝ้ายังตำหนัก จึงทรงขายพระตำหนักสวนรื่นฤดีแก่กองทัพบก เพื่อทรงนำเงินไปใช้สอยระหว่างสงคราม และพระราชทานเงินบางส่วนสมทบทุนสร้างพระบรมราชานุสาวรีย์พระบาทสมเด็จพระมงกุฎเกล้าเจ้าอยู่หัว

เมื่อเสด็จนิวัติประเทศไทยถาวรในปี พ.ศ. 2502 พระนางเจ้าสุวัทนา พระวรราชเทวี และ สมเด็จพระเจ้าภคินีเธอ เจ้าฟ้าเพชรรัตนราชสุดา สิริโสภาพัณณวดี โปรดที่จะเสด็จประพาสรถเพื่อชมพระบรมราชานุสาวรีย์ อาทิ พระบรมรูปที่สวนลุมพินี พระบรมรูปที่สะพานปฐมบรมราชานุสรณ์ พระบรมรูปทรงม้า ฯลฯ รวมถึงอัฐิของพระบุพการีในสายสกุลบุนนาค ที่วัดประยุรวงศาวาสวรวิหาร ในบางวันก็จะเสด็จมาในบริเวณสวนรื่นฤดี เพื่อทรงพบปะและรับสั่งกับชาวบ้านที่เป็นคนเฒ่าคนแก่ที่ทรงคุ้นเคย สมัยประทับอยู่ที่พระตำหนักสวนรื่นฤดี