บริเวณนี้ เดิมเป็นบ้านของเจ้าพระยามหาโยธา (ทอเรียะ คชเสนี) ผู้เป็นปู่ของเจ้าจอมมารดากลิ่น คชเสนี ในพระบาทสมเด็จพระจอมเกล้าเจ้าอยู่หัว และตกทอดมาถึงพระเจ้าบรมวงศ์เธอ กรมพระนเรศรวรฤทธิ์ (พระองค์เจ้ากฤดาภินิหาร) พระบาทสมเด็จพระจอมเกล้าเจ้าอยู่หัวจึงทรงพระกรุณาโปรดเกล้าฯ ให้สร้างตำหนักพระราชทานบนที่ดินนั้น

วังมะลิวัลย์เป็นตำหนักหลังใหม่ที่พระบาทสมเด็จพระมงกุฎเกล้าเจ้าอยู่หัว พระราชทานทรัพย์ส่วนพระองค์สร้างพระราชทานแด่ พระเจ้าบรมวงศ์เธอ กรมพระนเรศร์วรฤทธิ์ ในโอกาสที่ทรงเจริญพระชันษาครบ 5 รอบใน พ.ศ. 2460 เป็นอาคารทรงยุโรปก่ออิฐถือปูน 2 ชั้น หลังคาทรงปั้นหยา มีท้องพระโรงเป็นหอโถงสูงใหญ่ มีเฉลียงรายรอบชั้นล่าง และมีระเบียงรายล้อมชั้นบน เพดานห้องโถงและหัวเสาปั้นลายปูนเลียนแบบศิลปะขอม ออกแบบโดยนายเออโคล มันเฟรดี (เอกฤทธิ์ หมั่นเฟ้นดี) สถาปนิกชาวอิตาเลียน ก่อสร้างเสร็จในปี พ.ศ. 2460

เมื่อพระเจ้าบรมวงศ์เธอ กรมพระนเรศร์วรฤทธิ์สิ้นพระชนม์ และเจ้าจอมมารดากลิ่นถึงแก่อสัญกรรมใน พ.ศ. 2466 วังมะลิวัลย์ได้ตกทอดมาสู่ทายาท และประสบปัญหาค่าใช้จ่ายในการดูแลรักษา ทายาทราชสกุลกฤดากรจึงทูลเกล้าฯ ถวาย ร.7 ขายบ้านและที่ดินแก่พระคลังข้างที่ เมื่อ พ.ศ. 2469 และต่อมาหลังเปลี่ยนแปลงการปกครองได้อยู่ในความดูแลของสำนักงานทรัพย์สินพระมหากษัตริย์

ในรัชสมัยรัชกาลที่ 7 พระองค์พระราชทาน วังถนนพระอาทิตย์ ให้เป็นที่ประทับของสมเด็จพระเจ้าบรมวงศ์เธอ กรมพระสวัสดิวัดนวิศิษฎ์ ต้นราชสกุลสวัสดิวัตน์ เมื่อทรงพักที่ตำหนักเดิม ได้ระยะหนึ่งจนตำหนักใหม่สูง 3 ชั้นสร้างเสร็จ ตำหนักเดิมจึงไม่มีผู้ใดอาศัย

หลังเปลี่ยนแปลงการปกครอง สมเด็จพระเจ้าบรมวงศ์เธอ กรมพระสวัสดิวัดนวิศิษฏ์ เสด็จออกจากวังนี้ ทรงลี้ภัยทางการเมืองสู่ ปีนัง

ตั้งแต่ พ.ศ. 2478 ในรัชสมัยพระบาทสมเด็จพระเจ้าอยู่หัวอานันทมหิดล บ้านมะลิวัลย์ใช้เป็นที่พำนักของผู้สำเร็จราชการแทนพระองค์หลายท่าน ได้แก่ พระเจ้าวรวงศ์เธอ พระองค์เจ้าอ๊อสคาร์นุทิศ กรมหมื่นอนุวัตรจาตุรนต์, พลเอก เจ้าพระยาพิชเยนทรโยธิน (อุ่ม อินทรโยธิน), พระเจ้าวรวงศ์เธอ พระองค์เจ้าอาทิตย์ทิพอาภา และเจ้าพระยายมราช (ปั้น สุขุม)

ระหว่างสงครามโลกครั้งที่สอง พ.ศ. 2484-2488 นายปรีดี พนมยงค์ ผู้สำเร็จราชการแทนพระองค์ ผู้เป็นหัวหน้าขบวนการเสรีไทย ได้ใช้บ้านหลังนี้เป็นศูนย์บัญชาการงานใต้ดินของฝ่ายสัมพันธมิตรและขบวนการเสรีไทย นายทหารจากหน่วยสืบราชการลับของอเมริกา (โอเอสเอส) หลายนายเข้ามาปฏิบัติงาน รวมทั้ง พันตรีเจมส์ ทอมป์สัน ผู้ก่อตั้งธุรกิจผ้าไหมไทยจิม ทอมป์สัน และ อเล็กซานเดอร์ แมคโดแนลด์ ผู้ก่อตั้งหนังสือพิมพ์บางกอกโพสต์

ในปี พ.ศ. 2499 กระทรวงเกษตรและสหกรณ์ ได้เช่าบ้านมะลิวัลย์จากสำนักงานทรัพย์สินส่วนพระมหากษัตริย์ เพื่อใช้เป็นที่ทำการของสำนักงานองค์การอาหารและเกษตรแห่งสหประชาชาติ จนถึงปัจจุบัน