เริ่มก่อสร้างตั้งแต่ปี พ.ศ. 2446 โดยในวันที่ 30 ธันวาคม มีการจ่ายเงินค่าก่อสร้างกำแพงยาว 275 เมตร รวมเป็นเงิน 22,075 บาท ต่อมาวันที่ 19 เมษายน พ.ศ. 2447 จ่ายค่าก่อสร้างกำแพงส่วนที่เหลืออีกเป็นเงิน 61,173 บาท แต่ยังไม่รวมค่ากระเบื้องหลังคา แรกเริ่มมีสถาปนิก 3 คนช่วยกันออกแบบ คือ นายมารีโอ ตามัญโญ นายสก็อตส์ และนายเบย์โรเลรี แต่ 2 คนป่วยระหว่างการก่อสร้าง นายตามานโญป่วยเป็นอหิวาตกโรคและต้องเดินทางกลับยุโรป ส่วนนายสก็อตส์ป่วยเป็นไข้ทรพิษและเสียชีวิต เหลือแต่นายเบย์โรเลรี รับผิดชอบ จนแล้วเสร็จเมื่อ พ.ศ. 2448[1] มีพิธีขึ้นพระตำหนักใหม่เมื่อวันที่ 5 เมษายน พ.ศ. 2449[2] และได้เสด็จประทับพระตำหนักนี้ตลอดพระชนมายุ ลักษณะทางสถาปัตยกรรมเป็นแบบคลาสสิก ก่ออิฐถือปูน ตามแบบวิลลาของอิตาลี ก่ออิฐถือปูน ทาสีครีม เดิมตัวพระตำหนักมี 2 ชั้น โดยชั้นล่างเป็นท้องพระโรง และห้องรับแขก ห้องพักผ่อน ส่วนชั้นบนจัดเป็นบริเวณที่ประทับส่วนพระองค์ ห้องพระชายา ห้องพระบรรทม ห้องแต่งพระองค์ ห้องสรง และห้องทรงพระอักษร ต่อมามีการต่อเติมตัวพระตำหนักเพิ่มเป็น 3 ชั้น โดยชั้นบนจัดเป็นห้องพระบรรทม

ชื่อวังปารุสกวันได้มาจากชื่อสวนของพระอินทร์บนสวรรค์ชั้นดาวดึงส์ มี 4 แห่งคือ สวนมิสกวัน สวนปารุสกวัน สวนจิตรลดาวัน และสวนนันทวัน

ภายในวังปารุสก์ยังมีตำหนักอีกองค์หนึ่ง คือ ตำหนักสวนจิตรลดา ซึ่งแต่เดิมเป็นของพระบาทสมเด็จพระมงกุฎเกล้าเจ้าอยู่หัว ขณะทรงดำรงตำแหน่งสมเด็จพระบรมโอรสาธิราช เจ้าฟ้ามหาวชิราวุธ สยามมกุฎราชกุมาร เมื่อพระบาทสมเด็จพระมงกุฎเกล้าเจ้าอยู่หัว เสด็จขึ้นครองราชย์ ทรงย้ายไปประทับที่พระราชวังดุสิต ทรงพระกรุณาโปรดเกล้าฯ พระราชทานตำหนักสวนจิตรลดา แลกเปลี่ยนกับที่ดินบริเวณท่าวาสุกรี ของสมเด็จพระอนุชาธิราช เจ้าฟ้าจักรพงษ์ภูวนาถ กรมหลวงพิษณุโลกประชานาถ และโปรดฯ ให้รื้อกำแพงที่คั่นกลางออก รวมตำหนักทั้งสองเข้าด้วยกัน ส่วนกำแพงสร้างที่ใหม่ทรงให้ประดับตราจักรและกระบอง ซึ่งเป็นตราประจำพระองค์ของสมเด็จฯ เจ้าฟ้าจักรพงษภูวนาถ ไว้ที่ประตูกำแพงโดยรอบ

เมื่อสมเด็จฯ เจ้าฟ้าจักรพงษ์ภูวนาถเสด็จทิวงคต เมื่อ พ.ศ. 2463 พระบาทสมเด็จพระมงกุฎเกล้าเจ้าอยู่หัว ทรงใช้พระราชอำนาจตามกฎหมายระงับพินัยกรรมของสมเด็จพระอนุชาธิราช เจ้าฟ้าจักรพงษ์ภูวนาถ กรมหลวงพิษณุโลกประชานาถ ที่ทรงระบุให้ยกทรัพย์สินทั้งหมดแก่หม่อมเจ้าหญิงชวลิตโอภาส ชายาพระองค์ใหม่ โดยมีพระบรมราชโองการให้โอนวังปารุสกวันกลับคืนเป็นทรัพย์สินส่วนพระมหากษัตริย์

ภายหลังเปลี่ยนแปลงการปกครองในปี พ.ศ. 2475 วังปารุสกวัน เป็นที่ทำการของสำนักงานเลขาธิการรัฐสภา ก่อนจะย้ายไปยังพระที่นั่งอนันตสมาคม และที่เป็นพำนักของ พระยาพหลพลพยุหเสนา ระหว่างเป็นนายกรัฐมนตรีและพ้นจากตำแหน่งไปแล้ว จนถึงแก่อสัญกรรม[3] ปัจจุบันใช้เป็นที่ทำการของสำนักข่าวกรองแห่งชาติ พิพิธภัณฑ์กรมตำรวจ และกองบัญชาการตำรวจนครบาล

อนึ่ง มักมีผู้เข้าใจสับสนระหว่างตำหนักปารุสก์กับตำหนักสวนจิตรลดา โดยที่ตำหนักปารุสก์ คือ พระตำหนักที่อยู่ทางด้านถนนราชดำเนินนอกตัดกับถนนพิษณุโลก อยู่ติดกับวังจันทรเกษม ในขณะที่ตำหนักจิตรลดา คือ ตำหนักที่อยู่ทางด้านถนนราชดำเนินนอกตัดกับถนนศรีอยุธยานั่นเอง

นอกจากนี้ ตำหนักจิตรลดา ยังเคยเป็นสถานที่แข่งขันรายการเกมโชว์ทางโทรทัศน์อัจฉริยะข้ามคืน ล้านที่ 5 อีกด้วย