สมเด็จพระเจ้าบรมวงศ์เธอ เจ้าฟ้ากรมพระยานริศรานุวัดติวงศ์ โปรดให้ซื้อเรือนไทยอย่างโบราณเพื่อสร้างเป็นพระตำหนักที่ประทับ ก่อสร้างเสร็จในปี พ.ศ. 2457 โดยมีพระประสงค์จะให้เสร็จโดยเร็วและไม่สิ้นเปลือง เนื่องจากมักทรงพระประชวรเมื่อประทับที่วังท่าพระ ข้างพระบรมมหาราชวัง และมีพระดำริจะมาประทับนอกเมืองเป็นครั้งคราว จนกระทั่งเข้าช่วงปลายของพระองค์ พระตำหนักนี้จึงเป็นที่ประทับโดยถาวรไป ส่วนวังท่าพระนั้น จะเสด็จไปประทับเฉพาะช่วงหน้าหนาวหรือช่วงที่มีงานพระราชพิธีเท่านั้น สมเด็จพระเจ้าบรมวงศ์เธอ เจ้าฟ้ากรมพระยานริศรานุวัดติวงศ์ เสด็จประทับ อยู่ ณ วังที่ตำบลคลองเตยจนกระทั่งสิ้นพระชนม์ลงในปีพ.ศ. 2490 วังนี้จึงตกแก่ทายาทในราชสกุลจิตรพงศ์นับแต่บัดนั้นเป็นต้นมา อนึ่ง สมเด็จพระกนิษฐาธิราชเจ้า กรมสมเด็จพระเทพรัตนราชสุดาฯ สยามบรมราชกุมารี จะเสด็จพระราชดำเนินมาเพื่อทรงดนตรีไทยร่วมกับหม่อมเจ้าหญิงกรณิกา จิตรพงศ์ และศิลปินอาวุโสจากกรมศิลปากรอยู่เป็นประจำ

เมื่อแรกตัวพระตำหนักสร้างมุงหลังคาจากทุกหลัง บางหลังฝาทำด้วยแผงไม้ไผ่สานมีไม้ประกับเป็นกรอบค้ำเปิดขึ้นได้ทั้งฝา ต่อมาได้เปลี่ยนใช้กระเบื้องไม้สักมุงหลังคาแทน เพราะต้องเปลี่ยนใหม่ทุก 2 - 3 ปี ส่วนฝาเปลี่ยนเป็นฝาไม้มีหน้าต่างกว้าง เนื่องจากไม่สะดวกในฤดูฝน ซึ่งยุคนั้นไม่มีใครเคยทำ

ปัจจุบันวังปลายเนินยังเป็นที่ประทับ และที่อยู่อาศัยของทายาทในราชสกุลจิตรพงศ์อยู่ โดยมีอาคารอื่นอีก เช่น

• ตำหนักตึก ซึ่งเป็นที่ประทับ สมเด็จพระเจ้าบรมวงศ์เธอ เจ้าฟ้ากรมพระยานริศรานุวัดติวงศ์ เมือช่วงสุดท้ายของพระชนม์ชีพ
• ตำหนักประเสบัน เป็นเรือนไม้ยกพื้นสูงทรงยุโรปที่ประทับของ หม่อมเจ้าเจริญใจ จิตรพงศ์ ต่อมารื้อลงเป็นเรือน 2ชั้น 2 หลัง
• เรือนไม้ริมบ่อ -ศาลาริมน้ำ สมัยที่ยังมีคลองหน้าวัง ปัจจุบันรื้อย้ายมาปลูกกลางสวนเป็นศาลาทรงไทย
• ตำหนัก หม่อมเจ้าเพลารถ จิตรพงศ์

และ เรือนอื่นๆซึ่งทยอยสร้างขึ้นทีหลัง เช่น บ้านหม่อมราชวงศ์จักรรถ จิตรพงศ์ เป็นต้น