"บัณฑิตวิทยาลัย" ได้รับการจัดตั้งอย่างเป็นทางการเมื่อวันที่ 28 กันยายน พ.ศ. 2515 โดยมีกำเนิดมาจากโครงการจัดตั้งสถาบันโบราณคดี และโครงการจัดตั้งบัณฑิตวิทยาลัย ซึ่งได้แสดงเหตุผลความจำเป็นว่าให้เป็นไปตามมติของคณะกรรมการบริหารสภาการศึกษาแห่งชาติในการประชุม ครั้งที่ 7/2512 ที่เสนอแนะ คณะโบราณคดี ทำการสอนในขั้นบัณฑิตศึกษา และพระราชบัญญัติมหาวิทยาลัยศิลปากรในขณะนั้นได้กำหนดว่า มหาวิทยาลัย อาจจัดตั้งบัณฑิตวิทยาลัยได้ในเมื่อมีการเปิดการศึกษาในระดับบัณฑิตศึกษา ซึ่งมหาวิทยาลัยได้พิจารณาแล้วเห็นสมควรจัดตั้งบัณฑิตวิทยาลัยขึ้น โดยมีวัตถุประสงค์ให้บัณฑิตวิทยาลัยเป็นหน่วยงานกลางที่จะรับผิดชอบดำเนินงานการศึกษาระดับนี้ โดยเฉพาะจะทำหน้าที่บริหาร วางแผน วางนโยบาย จัดการศึกษา ควบคุมมาตรฐานการศึกษาและการวิจัย ทำการประสานงานและสนับสนุนให้ความสะดวกในการจัดการศึกษา การวิจัย แก่คณะที่เปิดทำการสอน อีกทั้งยังจะทำหน้าที่ประเมินและสรุปผลการศึกษาวิจัยอีกด้วย ซึ่งจะเป็นการแบ่งเบาภาระงานของคณะที่จะทำการสอน อันจะทำให้งานสอนมีประสิทธิภาพและได้มาตรฐานเท่าเทียมกันทุกสาขาวิชาที่เปิดทำการสอน

ต่อมาใน พ.ศ. 2537 มหาวิทยาลัยได้ออกข้อบังคับมหาวิทยาลัยศิลปากรว่าด้วยการจัดระบบบริหารงานในบัณฑิตวิทยาลัยและการจัดให้มีคณะกรรมการประจำบัณฑิตวิทยาลัย พ.ศ. 2537 เพื่อกำหนดหน้าที่และระบบบริหารงานในบัณฑิตวิทยาลัย โดยได้กำหนดหน้าที่ของบัณฑิตวิทยาลัย ดังนี้ ให้บัณฑิตวิทยาลัยมีหน้าที่บริการการศึกษาในระดับบัณฑิตศึกษาของมหาวิทยาลัย จัดวางแผน กำหนดควบคุมมาตรฐานการศึกษาและหลักสูตร ประเมินผลการศึกษา ประสานงานและดำเนินการด้านอื่น ๆ ที่เกี่ยวกับการบัณฑิตศึกษาร่วมกับคณะวิชาหรือหน่วยงานที่เรียกชื่ออย่างอื่นที่มีฐานะเทียบเท่าคณะวิชาที่เปิดสอนระดับบัณฑิตศึกษา

บัณฑิตวิทยาลัย ได้เปิดรับนักศึกษารุ่นแรกตั้งแต่ปีการศึกษา 2516 โดยเปิดรับนักศึกษา ระดับประกาศนียบัตรบัณฑิต 1 สาขาวิชา คือ สาขาวิชาสถาปัตยกรรมไทย และระดับปริญญาโท 2 สาขาวิชา คือ สาขาวิชาโบราณคดี และสาขาวิชาจารึกภาษาโบราณ (ปัจจุบันคือสาขาวิชาจารึกภาษาไทยและภาษาตะวันออก) มีนักศึกษาทั้งสิ้น 18 คน

ต่อมาที่ประชุมสภามหาวิทยาลัย ครั้งที่ 5/2552 เมื่อวันที่ 13 พฤษภาคม พ.ศ. 2552 มีข้อเสนอแนะในการนำเสนอหลักสูตรเพื่อให้สภามหาวิทยาลัยพิจารณาว่า "เนื่องจากการเปิดหลักสูตรใหม่มีผลกระทบต่อการจัดสรรทรัพยากรของมหาวิทยาลัย ดังนั้น ภายใต้สภาวะของข้อจำกัดในเรื่องทรัพยากร ทั้งเรื่องสถานที่ งบประมาณ บุคลากร และสภาวะการแข่งขันของสถาบันการศึกษา จึงควรจัดทำหลักสูตรในลักษณะหลักสูตรบูรณาการ โดยการนำศักยภาพของแต่ละคณะวิชามาเป็นจุดแข็งในการสร้างหลักสูตรที่สนองความต้องการของสังคมแทนการเปิดหลักสูตรในลักษณะเดี่ยว ๆ ที่สามารถหาได้ทั่วไปในมหาวิทยาลัยอื่น หรือการจัดทำหลักสูตรที่สนองกับกลุ่มเป้าหมายที่เป็นผู้ประกอบการเฉพาะ"

บัณฑิตวิทยาลัยในฐานะที่เป็นหน่วยงานกลางที่รับผิดชอบการศึกษาในระดับบัณฑิตศึกษา จึงมีแนวคิดที่จะพัฒนาหลักสูตรระดับบัณฑิตศึกษา โดยประสานความร่วมมือทางวิชาการจากคณะวิชาต่าง ๆ เพื่อให้เกิดหลักสูตรใหม่ที่มีความสร้างสรรค์ และมีลักษณะพหุวิทยาการ (Multidisciplinary) คือ หลักสูตรที่นำเอาความรู้หลายศาสตร์หรือหลายอนุศาสตร์ที่เข้ามาใช้ในการเรียนการสอนเพื่อประโยชน์ในการวิเคราะห์และวิจัย จนกระทั่งผู้เรียนสามารถพัฒนาความรู้ องค์ความรู้ เป็นศาสตร์ใหม่ขึ้นหรือเกิดอนุศาสตร์ใหม่ขึ้น

ดังนั้น ใน พ.ศ. 2553 เป็นต้นมา บัณฑิตวิทยาลัยจึงได้ริเริ่มจัดทำหลักสูตรพหุวิทยาการของ มหาวิทยาลัยศิลปากร ขึ้น เพื่อตอบสนองตามความต้องการของสังคม โดยความร่วมมือระหว่างบัณฑิตวิทยาลัยกับคณะวิชาต่าง ๆ และได้รับการอนุมัติหลักสูตรแรก คือ หลักสูตรศิลปศาสตรมหาบัณฑิต สาขาวิชาสนเทศศาสตร์เพื่อการศึกษา (Master of Arts Program in Educational Informatics) ให้เปิดสอนครั้งแรกได้ในปีการศึกษา 2555 โดยความร่วมมือระหว่างบัณฑิตวิทยาลัย ร่วมกับ คณะอักษรศาสตร์ คณะศึกษาศาสตร์ และ คณะวิทยาศาสตร์ โดยการจัดการเรียนการสอนและการบริหารงานอยู่ภายใต้การดูแลของบัณฑิตวิทยาลัย การดำเนินการจัดการเรียนการสอนดังกล่าวไม่มีอาจารย์ประจำ ผู้สอนเป็นอาจารย์ประจำมาจากคณะวิชาต่าง ๆ และต่อมาในปีการศึกษา 2557 ได้รับอนุมัติให้เปิดสอนหลักสูตรพหุวิทยาการเพิ่มอีก 1 หลักสูตร ได้แก่ หลักสูตรศิลปศาสตรมหาบัณฑิต สาขาวิชาการจัดการจดหมายเหตุและสารสนเทศมรดกทางวัฒนธรรม (หลักสูตรพหุวิทยาการ/หลักสูตรปรับปรุง พ.ศ. 2557)

ปัจจุบันบัณฑิตวิทยาลัย มีที่ทำการตั้งอยู่ที่ ชั้น 7 อาคาร 50 ปี มหาวิทยาลัยศิลปากร พระราชวังสนามจันทร์ และชั้น 2 อาคารสำนักงานอธิการบดี ตลิ่งชัน ต่อมาใน พ.ศ. 2556 ได้ขยายพื้นที่ทำการเพื่อบริการคณาจารย์และนักศึกษาเพิ่มเติมอีกจำนวน 2 แห่ง ได้แก่ บัณฑิตวิทยาลัย มหาวิทยาลัยศิลปากร วังท่าพระ กรุงเทพมหานคร ตั้งอยู่ที่ ชั้น 2 อาคารหอประชุม และบัณฑิตวิทยาลัย มหาวิทยาลัยศิลปากร เพชรบุรี ตั้งอยู่ที่ ชั้น 1 อาคารสำนักงานอธิการบดี เพชรบุรี