ในช่วงปลายรัชกาลที่ 6 ถึงรัชกาลที่ 7 เมื่อถึงฤดูร้อน ชาวกรุงเทพมหานครโดยเฉพาะพระราชวงศ์ และข้าราชการชั้นผู้ใหญ่ ตลอดจนคหบดียุคนั้น นิยมไปพักตากอากาศที่ชายทะเลหัวหิน จังหวัดประจวบคีรีขันธ์ ตลอดช่วงฤดูร้อน เมื่อสมเด็จพระเจ้าภคินีเธอ เจ้าฟ้าเพชรรัตนราชสุดา สิริโสภาพัณณวดี ทรงเจริญพระชนมายุขึ้นราว 5-6 พรรษา พระนางเจ้าสุวัทนา พระวรราชเทวี พระชนนีจึงทรงซื้อตำหนักเป็นตำหนักพลับป่า ข ที่อยู่ติดชายทะเลของหม่อมเจ้าพิจิตรจิราภา เทวกุล อยู่ติดชายทะเล เคยใช้รับเสด็จสมเด็จพระราชปิตุจฉา เจ้าฟ้าวไลยอลงกรณ์ กรมหลวงเพชรบุรีราชสิรินธร โดยพระนางเจ้าสุวัทนา พระวรราชเทวี ทรงซื้อพระตำหนักนี้ด้วยทรัพย์ส่วนพระองค์ เพื่อใช้เป็นที่พักผ่อนและสำราญพระอิริยาบถของสมเด็จพระเจ้าภคินีเธอ เจ้าฟ้าเพชรรัตนราชสุดา สิริโสภาพัณณวดี โดยจะเสด็จลงเล่นสรงน้ำทะเล ทรงพระสำราญกับพระสหายนับแต่ทรงพระเยาว์ และทรงแปรมาประทับในช่วงฤดูร้อน เพื่อทรงปฏิบัติพระกรณียกิจในเขตจังหวัดเพชรบุรีและประจวบคีรีขันธ์ โดยจะทรงอัญเชิญเทวรูปท้าวหิรัญพนาสูร เทวดารักษาพระองค์ของพระบาทสมเด็จพระมงกุฎเกล้าเจ้าอยู่หัว มาทรงสักการบูชาด้วยเสมอ แม้ในคราวที่จะทรงซื้อพระตำหนักนั้นจะมีพระญาติทูลทัดทานไว้หลายคน