พระเจ้าลุดวิกที่ 1 แห่งบาวาเรีย มีพระราชโองการให้เลโอ ฟ็อน เคล็นเซอ (Leo von Klenze) สร้างสิ่งก่อสร้างใหม่สำหรับเป็นที่เก็บงานสะสมศิลปะของราชวงศ์วิทเทิลส์บัค (Wittelsbach) ในปี ค.ศ. 1826 พิพิธภัณฑ์ออกแบบเพื่อที่จะแสดงงาน "การตัดสินครั้งสุดท้าย" โดยเปเตอร์ เปาล์ รือเบินส์ ซึ่งเป็นงานเขียนบนผืนผ้าใบที่ใหญ่ที่สุดที่เคยเขียนกันมา สิ่งก่อสร้างถือกันว่าเป็นสิ่งก่อสร้างที่สมัยใหม่ในเวลานั้นและเป็นตัวอย่างของการก่อสร้างพิพิธภัณฑ์ในเยอรมนีต่อมาหลังจากที่เปิดในปี ค.ศ. 1836 และเป็นแบบอย่างแก่หอศิลป์ใหม่ ๆ ในกรุงโรม, เซนต์ปีเตอร์สเบิร์ก, บรัสเซลส์ และคัสเซิล

พิพิธภัณฑ์ได้รับความเสียหายอย่างหนักในระหว่างสงครามโลกครั้งที่สอง แต่ได้รับการก่อสร้างใหม่และเปิดให้ประชาชนเข้าชมได้อีกครั้งในปลายคริสต์ทศวรรษ 1950 แต่การตกแต่งภายในอย่างหรูหรามิได้รับการสร้างใหม่