สร้างขึ้นเมื่อ พ.ศ. 2449 ตามพระราชประสงค์ของพระบาทสมเด็จพระจุลจอมเกล้าเจ้าอยู่หัว เป็นที่ประทับของสมเด็จพระเจ้าบรมวงศ์เธอ เจ้าฟ้ายุคลทิฆัมพร กรมหลวงลพบุรีราเมศวร์ (ต้นราชสกุลยุคล) เมื่อคราวใกล้จะสำเร็จการศึกษาจากมหาวิทยาลัยเคมบริดจ์ ประเทศอังกฤษ โดยพระราชทานนาม “วังลดาวัลย์” ตามพระนามเดิมของพระเจ้าบรมวงศ์เธอ กรมหมื่นภูมินทรภักดี ผู้เป็นพระอัยกาของสมเด็จพระเจ้าบรมวงศ์เธอ เจ้าฟ้ายุคลทิฆัมพรฯ โดยมีพระสถิตย์นิมานการ เจ้ากรมโยธาธิการ เป็นผู้จัดการเรื่องแปลน ซึ่งขณะนั้นกรมโยธาธิการได้จ้างช่างชาวต่างประเทศออกแบบพระที่นั่ง พระตำหนัก ตำแหน่งและอาคารต่าง ๆ ฉะนั้น ตำหนักหลังนี้คงออกแบบโดยนายช่างชาวต่างประเทศ โดยมีนายจี บรูโน เป็นผู้รับเหมาการก่อสร้าง

สมเด็จพระเจ้าบรมวงศ์เธอ เจ้าฟ้ายุคลทิฆัมพร กรมหลวงลพบุรีราเมศวร์ เจ้าของวังลดาวัลย์นั้นโปรดการดนตรี นาฏศิลป์ และศิลปะการแสดงแทบทุกแขนง ทำให้วังลดาวัลย์เปรียบเสมือนศูนย์รวมศิลปวัฒนธรรมที่สำคัญแห่งหนึ่ง แต่เมื่อพระองค์สิ้นพระชนม์ลงในวันที่ 2 เมษายน พ.ศ. 2475 วังนี้ตกอยู่ในการดูแลของพระชายา คือ พระเจ้าวรวงศ์เธอ พระองค์เจ้าเฉลิมเขตรมงคล ประจวบกับมีการเปลี่ยนแปลงการปกครองจากระบอบสมบูรณาญาสิทธิราชย์เป็นระบอบประชาธิปไตย ใน พ.ศ. 2475 ทำให้วังลดาวัลย์ถูกทอดทิ้ง

ต่อมาในช่วงสงครามมหาเอเชียบูรพารัฐบาลญี่ปุ่นในขณะนั้นเคยเช่าใช้เป็นหอวัฒนธรรมญี่ปุ่น และเคยใช้เป็นที่พำนักของกองกำลังทหารจากสหประชาชาติ ครั้นในช่วงปลายสงคราม พ.ศ. 2488 สำนักงานทรัพย์สินส่วนพระมหากษัตริย์ ได้ติดต่อขอซื้อวังลดาวัลย์จากพระทายาทเพื่อจะได้ไม่ตกเป็นของต่างชาติ วังลดาวัลย์จึงอยู่ในความดูแลของสำนักงานทรัพย์สินส่วนพระมหากษัตริย์ตั้งแต่นั้นมา