พระตำหนักจิตรลดารโหฐาน สร้างขึ้นเมื่อ พ.ศ. 2456 ในรัชสมัยพระบาทสมเด็จพระมงกุฎเกล้าเจ้าอยู่หัว ณ บริเวณทุ่งส้มป่อย ซึ่งเป็นทุ่งนาระหว่างพระราชวังสวนดุสิตกับวังพญาไท (ปัจจุบันคือโรงพยาบาลพระมงกุฎเกล้า) โดยโปรดเกล้าฯ ให้เจ้าพระยายมราช (ปั้น สุขุม) เสนาบดีกระทรวงนครบาลจัดสร้างพระตำหนักขึ้น โดยมีพระยาวิศุกรรมศิลปประสิทธิ์ (น้อย ศิลปี) เป็นผู้ควบคุมและดำเนินการก่อสร้าง เพื่อทรงใช้เป็นที่รโหฐานสำหรับทรงพระราชนิพนธ์หนังสือ รวมทั้งราชเสวกจะได้มีโอกาสเฝ้าทูลละอองธุลีพระบาทเป็นการส่วนพระองค์ โปรดเกล้าฯ พระราชทานนามทุ่งส้มป่อยว่า สวนจิตรลดา พระราชทานนามพระตำหนักว่า "พระตำหนักจิตรลดารโหฐาน"[1] บริเวณรอบพระตำหนักมีการขุดคูและทำกำแพงรั้วเหล็กโดยรอบ มีประตู 4 ทิศ พระราชทานชื่อประตูตามสวนจิตรลดาของพระอินทร์และท้าวโลกบาล คือ ด้านทิศตะวันออก ชื่อประตู “พระอินทร์อยู่ชม” ด้านทิศใต้ ชื่อประตู “พระยมอยู่คุ้น” ด้านทิศตะวันตก ชื่อประตู “พระวรุณอยู่เจน” และด้านทิศเหนือ ชื่อประตู “พระกุเวนอยู่เฝ้า” ในปัจจุบันเป็นทางเข้าออกได้เพียง ๓ ทิศ เว้นทิศตะวันออก มีสะพาน ๒ สะพาน มีประตูน้ำ ๒ ประตู และมีซุ้มทหารยาม ๓๐ ซุ้ม ความสำคัญของประตู “พระวรุณอยู่เจน” เป็นประตูสำหรับเสด็จพระราชดำเนิน ของพระบาทสมเด็จพระเจ้าอยู่หัวฯ และ สมเด็จพระนางเจ้าฯ พระบรมราชินีนาถ

พระตำหนักจิตรลดารโหฐานสร้างเป็นตึก 2 ชั้นลักษณะสถาปัตยกรรมแบบตะวันตก พระบาทสมเด็จพระมงกุฎเกล้าเจ้าอยู่หัวได้เสด็จพระราชดำเนินมาประทับเป็นครั้งคราว เมื่อมีพระราชพิธีต่าง ๆ ก็ทรงกระทำการที่พระตำหนักจิตรลดารโหฐานเช่นเดียวกับพระราชวัง ต่อมาโปรดเกล้าฯ ให้สร้างพระราชมนเทียรสถานขึ้นใหม่เป็นที่ประทับที่วังพญาไท ในรัชสมัยพระบาทสมเด็จพระปกเกล้าเจ้าอยู่หัว โปรดเกล้าฯ ให้ประกาศยกสวนจิตรลดาเป็นเขตพระราชฐานในพระราชวังดุสิต

ในรัชสมัยพระบาทสมเด็จพระเจ้าอยู่หัว ทรงพระกรุณาโปรดเกล้าฯ ให้ใช้พระตำหนักจิตรลดารโหฐานเป็นที่ประทับถาวร โปรดเกล้าฯ ให้สร้างโรงเรียนจิตรลดา เมื่อ พ.ศ. 2501 เป็นสถานศึกษาชั้นต้นสำหรับพระโอรส พระธิดาและบุตรหลานข้าราชสำนัก โปรดเกล้าฯ ให้สร้างศาลาดุสิดาลัย เป็นศาลาอเนกประสงค์

ภายในพระตำหนักพระบาทสมเด็จพระเจ้าอยู่หัวทรงพระกรุณาโปรดเกล้าฯ ให้เป็นสถานที่ทดลองโครงการทดลองส่วนพระองค์เกี่ยวกับการเกษตร เพื่อนำผลการศึกษาพระราชทานแก่ประชาชน เช่น โครงการนาข้าวทดลอง โครงการค้นคว้าวิจัยเชื้อเพลิงเขียว โครงการปลูกข้าวไร่ โครงการเลี้ยงปลานิล และโครงการโคนม รวมทั้งยังมีโรงงานจากโครงการทดลองของพระองค์เกิดขึ้นหลายประเภท เช่น โรงโคนมสวนจิตรลดา โรงนมผงสวนดุสิต โรงนมเม็ดสวนดุสิต โรงสีข้าวตัวอย่าง โรงผลิตน้ำผลไม้ โรงบดและอัดแกลบ และโรงปุ๋ยอินทรีย์

อาคารอื่น ๆ

• เรือนต้น (จำลอง) เป็นเรือนไม้ทรงไทยที่สร้างเมื่อปี พ.ศ. 2508 โดยพระบาทสมเด็จพระเจ้าอยู่หัว ทรงพระกรุณาโปรดเกล้าฯ ให้จำลองแบบเรือนต้นภายในพระราชวังดุสิตโดยใช้เป็นสถานที่จัดงานถวายเลี้ยงแบบไทยในการรับรองแก่องค์พระประมุขและพระราชวงศ์ และพระราชทานเลี้ยงแก่ประมุขของนานาประเทศที่เสด็จ หรือเดินทางมาเยือนประเทศไทย
• ศาลาดุสิดาลัย เป็นศาลาที่สร้างขึ้นในปี พ.ศ. 2512 โดยใช้เป็นสถานที่ต้อนรับแขกบ้านแขกเมืองจำนวนมากซึ่งเรือนต้น (จำลอง) ไม่สามารถรองรับได้หมด
• พิพิธภัณฑ์ โรงช้างต้น สวนจิตรลดา เป็นพิพิธภัณฑ์สร้างขึ้น ในปี2517แล้วเสร็จในปี2519อยู่ตรงข้ามถนน
• พระตำหนักใหม่ เป็นพระตำหนักที่สร้างขึ้นในปี พ.ศ. 2525 เพื่อใช้เป็นตำหนักหอของสมเด็จพระเจ้าลูกเธอ เจ้าฟ้าจุฬาภรณวลัยลักษณ์ อัครราชกุมารี และ นาวาอากาศเอก วีระยุทธ ดิษยะศริน พระสวามี
• สวนพรรณไม้ในวรรณคดี เป็นสวนพรรณไม้ในวรรณคดี ภายในสวนเป็นที่ตั้งของพระตำหนักใหม่
• อาคารชัยพัฒนา (เดิม) เป็นอาคารที่สร้างขึ้นในปี พ.ศ. 2530 โดยเป็นที่ทรงงานของสมเด็จพระเทพรัตนราชสุดา สยามบรมราชกุมารี
• ลานจอดเฮลิคอปเตอร์