ส่วนที่เก่าที่สุดของวังคือ “วังกัปตัน” (Palazzo del Capitano) ที่สร้างเมื่อต้นคริสต์ศตวรรษที่ 14 โดยกัปตันแห่งประชาชนจุยโด บวยนาโคสซิ (ตระกูลของจุยโดปกครองมานตัวระหว่าง ค.ศ. 1271 จนถึง ค.ศ. 1328) และ “วังใหญ่” (Magna Domus) ในปลายคริสต์ศตวรรษ บาร์โทลิโน ดา โนวาราผู้เป็นสถาปนิกทางการก่อสร้างสิ่งก่อสร้างทางการทหารคนสำคัญที่สุดคนหนึ่งของยุคนั้นเป็นผู้ก่อสร้าง “ปราสาทเซนต์จอร์จ”

“วังใหม่” (Domus Nova) มาสร้างเสร็จในอีกศตวรรษหนึ่งต่อมาโดยสถาปนิกลูคา ฟานเชลลิ (Luca Fancelli) ลูคาเป็นผู้รับผิดชอบในการสร้าง “ตำหนักใหม่” (Corte Nuova) ที่รวมทั้งชุดห้องพักของดยุกที่มีจิตรกรรมฝาผนังโดยจูลิโอ โรมาโน

ชาเปลซานตาบาร์บาราของวังสำหรับตระกูลกอนซากาออกแบบโดยจิโอวาน บัตติสตา แบร์ตานิที่สร้างระหว่างคริสต์ศตวรรษที่ 16 และ 17 สถาปนิกอันโตนิโอ มาเรีย วิอานิสร้างชุดห้องพักของวินเชนโซที่ 1 กอนซากา รวมทั้ง “ห้องเมตะมอร์ฟอร์ซิส” และ “ระเบียงเอเลโอโนรา”

ตระกูลกอนซากาพำนักอยู่ในวังระหว่าง ค.ศ. 1328 จนถึง ค.ศ. 1707 เมื่อตระกูลมาสิ้นสุดลง หลังจากนั้นสิ่งก่อสร้างก็เสื่อมโทรมลงอย่างรวดเร็ว จนกระทั่งมาได้รับการบูรณปฏิสังขรณ์ในคริสต์ศตวรรษที่ 20 ในเป็นพิพิธภัณฑ์