เมื่อสมเด็จพระนางเจ้ารำไพพรรณี พระบรมราชินี ได้อัญเชิญพระบรมอัฐิของพระบาทสมเด็จพระปกเกล้าเจ้าอยู่หัวจากประเทศอังกฤษกลับสู่ประเทศไทย ในพุทธศักราช ๒๔๙๒ นั้น รัฐบาลได้ใช้พระตำหนักวังศุโขทัยเป็นสถานที่ทำงานของกระทรวงสาธารณสุข สมเด็จพระศรีนครินทราบรมราชชนนีจึงได้เชิญเสด็จสมเด็จพระนางเจ้ารำไพพรรณี พระบรมราชินี ไปประทับ ณ พระตำหนักของสมเด็จพระมหิตลาธิเบศร อดุลยเดชวิกรม พระบรมราชชนก ในวังสระปทุม

แต่เนื่องจากสมเด็จพระนางเจ้ารำไพพรรณี พระบรมราชินี ทรงมีพระราชหฤทัยที่อ่อนโยน ไม่ต้องพระราชประสงค์ที่จะทรงรบกวนสมเด็จพระศรีนครินทราบรมราชชนนีในการประทับ ณ พระตำหนักวังสระปทุมนานเกินควร อีกทั้งทรงมีพระราชประสงค์ที่จะมีที่ประทับสำหรับพักผ่อนพระราชอิริยาบถ จึงถวายบังคมทูลลาออกจากวังสระปทุม เพื่อมาสร้างวังบ้านสวนแก้ว ขึ้นในจังหวัดจันทบุรี ในวันที่ ๒๐ มิถุนายน พุทธศักราช ๒๔๙๓

ในการก่อสร้างพระตำหนักและสิ่งก่อสร้างต่าง ๆ ในสวนบ้านแก้ว สมเด็จพระนางเจ้ารำไพพรรณี พระบรมราชินี โปรดให้เป็นไปด้วยความประหยัดมากที่สุด โปรดให้จ้างชาวจีนมาสอนข้าราชบริพาร สร้างโรงทำอิฐเผาอิฐ เผากระเบื้องมุงหลังคา เนื่องจากในการก่อสร้างพระตำหนักใหญ่ต้องใช้อิฐเป็นจำนวนมาก การขนส่งมาจากกรุงเทพฯ เป็นเรื่องยุ่งยากและเสียค่าใช้จ่ายสูง อิฐของสวนบ้านแก้วจึงเป็นอิฐคุณภาพดี ขนาดใหญ่ เช่นเดียวกับอิฐบางบัวทองมีสัญลักษณ์เป็นตัวอักษรว่า ส.บ.ก. ใช้ก่อสร้างเฉพาะในสวนบ้านแก้วเท่านั้น

ต่อมาในปี พุทธศักราช ๒๕๑๕ พระองค์ทรงมีพระชมมายุสูงขึ้น และพระพลานามัยไม่สมบูรณ์นัก ดังนั้น เมื่อรัฐบาลได้กราบบังคมทูลพระกรุณาขอรับพระราชทานที่ดินสวนบ้านแก้ว เพื่อจัดตั้งวิทยาลัยครูจันทบุรี โดยทูลถวายเงินเพียง ๑๘ ล้านบาท ด้วยพระราชปณิธานและพระมหากรุณาธิคุณของพระองค์ท่าน ในการพระราชทานโอกาสทางการศึกษาแก่ประชาชนในจังหวัดจันทบุรี จึงทรงเสียสละพระราชทานสวนบ้านแก้วแก่กระทรวงศึกษาธิการกระทรวงศึกษาธิการ และได้ย้ายไปประทับ ณ วังศุโขทัย จวบจนวาระสุดท้ายของพระองค์