เมื่อปี 1346 อากามัตสึ ซาดาโนริ ได้วางแผนที่จะสร้างปราสาทขึ้นที่เชิงเขาฮิเมจิที่ซึ่งอากามัตสึ โนริมุระ ได้สร้างวัดโชเมียวขึ้น หลังจากอากามัตสึเสียชีวิตในสงครามคากิตสึ ตระกูลยามานะได้เข้าครอบครองปราสาท แต่หลังจากสงครามโอนิน ตระกูลอากามัตสึก็ยึดปราสาทกลับมาได้อีกครั้ง

ปี 1580 โทโยโตมิ ฮิเดโยชิ ได้เข้ามาเป็นผู้ปกครองปราสาท และมีการสร้างหออาคารหลักสูง 3 ชั้น ดำเนินการโดยคูโรดะ โยชิตากะ

หลังจากสงครามเซกิงาฮาราในปี ค.ศ. 1601 โทกูงาวะ อิเอยาซุได้ยกปราสาทฮิเมจิให้แก่อิเกดะ เทรูมาซะุ อิเกดะได้ดำเนินการต่อเติมปราสาทเป็นเวลา 8 ปี จนเป็นรูปลักษณ์อย่างที่เห็นในปัจจุบัน ส่วนต่อเติมส่วนสุดท้าย คือ วงเวียนด้านตะวันตก เสร็จสมบูรณ์เมื่อปี 1618

เมื่อสิ้นสุดยุคเอโดะ ปราสาทฮิเมจิเป็นหนึ่งในสมบัติชิ้นสุดท้ายของไดเมียวโทซามะ ขณะนั้นปราสาทถูกปกครองโดยทายาทของซากาอิ ทาดาซูมิ จนกระทั่งเมื่อเข้าสู่ยุคเมจิ ปี ค.ศ. 1868 รัฐบาลใหม่ของญี่ปุ่นได้ส่งกองกำลังภายใต้การบังคับบัญชาของทายาทของอิเกดะ เทรูมาซะ เข้าบุกปราสาท และขับไล่ผู้ปกครองออกไป

ปราสาทฮิเมจิถูกทิ้งระเบิดในปี ค.ศ. 1945 เมื่อสิ้นสุดสงครามโลกครั้งที่สอง แม้ว่าพื้นที่โดยรอบส่วนใหญ่จะถูกเผาทำลาย แต่ปราสาทยังคงตั้งอยู่ได้โดยแทบไม่เสียหาย