ในบรรดาปราสาท 12 แห่งที่หลงเหลืออยู่ในประเทศญี่ปุ่น ปราสาทมัตสึเอะเป็นปราสาทแห่งเดียวในภูมิภาคซะนิง ปราสาทมีขนาดใหญ่อันดับที่สอง สูงอันดับที่สาม และมีอายุยาวนานอันดับที่ 6 ปราสาทสร้างขึ้นโดยโฮริโอะ โยชิฮารุ ไดเมียวของภูมิภาคอิซูโมะ และก่อสร้างสำเร็จใน ค.ศ. 1611

หลังจากสมัยของทาดาฮารุ โฮริโอะ และทาดาตากะ เคียวโงกุ แล้ว มัตสึไดระ นาโอมาซะ หลานชายของโชกุนโทกูงาวะ อิเอยาซุ ก็กลายเป็นผู้ปกครองปราสาทหลังจากถูกส่งตัวจากมัตสึโมโตะ จังหวัดชินชู และเริ่มปกครองยาวนาน 10 รุ่นของตระกูลมัตสึไดระ เป็นเวลามากกว่า 234 ปี

ใน ค.ศ. 1875 สิ่งก่อสร้างทั้งหมดภายในปราสาทถูกทำลาย ยกเว้นตัวหอคอยของปราสาทเอง ตัวปราสาทได้รับบูรณะจนเสร็จสมบูรณ์ระหว่าง ค.ศ. 1950 ถึง 1955