บ้านคลองบางหลวง ของท้าวศรีสุนทรนาฏ (แก้ว พนมวัน ณ อยุธยา) เป็นที่ประทับแรกของพระนางเจ้าสุวัทนา พระวรราชเทวี ในช่วงตั้งแต่ประสูติ ขณะทรงพระเยาว์ ต่อมาย้ายที่ประทับไปประทับ ณ บ้านสวนสาลี่ ต่อมาเป็น บ้านนรสิงห์ ที่ในปัจจุบัน คือ ทำเนียบรัฐบาล โดยมีท้าวศรีสุนทรนาฏ (แก้ว พนมวัน ณ อยุธยา)เป็นผู้อภิบาลเพราะคุณหญิงเล็ก บุนนาคถึงอนิจกรรมตั้งแต่ทรงพระเยาว์ บางครั้งก็ไปประทับที่เรือนพระกรรมสักขี ในพระราชวังสนามจันทร์ กับพระชนก ต่อมาเมื่อทรงถวายตัวเป็นเจ้าจอมในพระบาทสมเด็จพระมงกุฎเกล้าเจ้าอยู่หัว ก็ได้ย้ายมาประทับ ณ พระราชวังพญาไท ถ้าประทับที่พระราชนิเวศน์มฤคทายวัน ราชนิเวศน์กรีฑาสถาน จะประทับ ณ พระที่นั่งสมุทรพิมาน ต่อมาเมื่อใกล้พระประสูติกาลพระหน่อพระองค์แรกในรัชกาล ก็ทรงย้ายมาประทับ ณ พระที่นั่งเทพยสถานพิลาส พระปรัศว์ขวาของพระที่นั่งจักรพรรดิพิมานเพื่อเตรียมพระประสูติการ[24] เมื่อพระบาทสมเด็จพระมงกุฎเกล้าเจ้าอยู่หัวสวรรคตจึงได้ย้ายมาประทับ ณ พระตำหนักของสมเด็จพระเจ้าบรมวงศ์เธอ พระองค์เจ้าศรีวิลัยลักษณ์ กรมขุนสุพรรณภาควดีพระราชธิดาในรัชกาลที่ 5 กับเจ้าจอมมารดาแพ ซึ่งมีศักดิ์เป็นพี่สาวต่างมารดาของพระชนนีในพระองค์ เมื่อเกิดเหตุการณ์เปลี่ยนแปลงการปกครอง แล้วมีเครื่องบินเล็กตกใกล้พระตำหนักที่ประทับ พระบาทสมเด็จพระปกเกล้าเจ้าอยู่หัวโปรดเกล้าฯให้ย้ายมาประทับที่พระราชวังสวนสุนันทา เมื่อเหตุการณ์ทวีความรุนแรงจึงตามเสด็จสมเด็จพระศรีสวรินทิราบรมราชเทวี พระพันวัสสาอัยยิกาเจ้า ไปประทับที่สงขลา เมื่อเหตุการณ์สงบกก็เสด็จกลับมาประทับกับสมเด็จพระพันวัสสาอัยยิกาเจ้าที่วังสระปทุม จนเมื่อเหตุการณ์สงบก็ย้ายกลับไปประทับที่สวนสุนันทาตามเดิม ต่อมาเมื่อพระราชธิดาเจริญพระวัยขึ้นก็ทรงซื้อพระตำหนักพลับป่า ข แล้วพระราชทานนามใหม่ว่า พระตำหนักพัชราลัย ซึ่งพระตำหนักแห่งนี้เป็นที่ประทับฤดูร้อน ต่อมาสมเด็จพระพันวัสสาฯโปรดให้ย้ายไปประทับ ณ พระตำหนักสวนหงส์ พระราชวังดุสิต จน โปรดให้สร้างพระตำหนักสวนรื่นฤดี ที่บริเวณที่ดินที่ได้รับพระราชทานจากพระสวามี แต่ถึงกระนั้นสมเด็จพระพันวัสสาฯ ก็โปรดให้รับมาทอดพระเนตรภาพยนตร์ ณ วังสระปทุมอยู่เนืองๆ[25]เมื่อเสด็จยังสหราชอาณาจักรก็ประทับ ณ พระตำหนักแฟร์ฮิลล์ เมืองแคมเบอร์เลย์ มณฑลเซอร์เรย์ เมื่อเกิดเหตุการณ์สงครามโลกครั้งที่ 2 ก็ทรงลี้ภัย แล้วมาประทับ ณ พระตำหนักหลุยส์เครสเซนต์ ซึ่งเป็นแฟลตในเมืองไบรตัน มณฑลซัสเซค แต่เนื่องด้วยพระตำหนักแห่งนี้คับแคบไม่เพียงพอต่อการรับผู้มาเฝ้าทูลละอองพระบาทและจัดงานรื่นเริงตามที่ทรงตั้งพระทัยไว้ จึงทรงซื้อพระตำหนักใหม่ชื่อว่า พระตำหนักไดก์โรด (บ้านรื่นฤดี) เมืองไบรตัน มณฑลซัสเซค ซึ่งเป็นที่ประทับสุดท้ายในพ.ศ. 2502 นิวัตประเทศไทยเป็นการถาวรในเบื้องแรกทรงไปประทับ ณ บ้านพระญาติฝ่ายพระชนนี บริเวณซอยสุขุมวิท ต่อมาทรงซื้อที่ดินด้วยการขายมรกตเพียงเม็ดเดียว และโปรดให้สร้างวังขึ้นบริเวณ ซอยสันติสุข สุขุมวิท 38 โดยพระราชทานนามว่า วังรื่นฤดี โยในฤดูร้อนยังโปรดที่จะประทับ ณ พระตำหนักพัชราลัย หัวหิน จนกระทั่งสิ้นพระชนม์[26]