คาโงชิมะในอดีตเคยเป็นศูนย์กลางของซามูไรตระกูลชิมาซุมาหลายศตวรรษ เป็นเมืองท่าที่สำคัญมาตั้งแต่สมัยยุคกลางจนถึงสมัยเอโดะ จากนั้นก็กลายเป็นเมืองหลวงอย่างเป็นทางการของแคว้นซัตสึมะ หนึ่งในแคว้นไดเมียวที่ทรงอำนาจที่สุดและมั่งคั่งที่สุดในสมัยเอโดะ แม้ว่าการค้าระหว่างประเทศจะถูกกีดกัน ไม่เพียงแต่เป็นศูนย์กลางทางการเมืองเท่านั้น แต่ยังเป็นอาณาจักรขุนนางกึ่งอิสระของอาณาจักรรีวกีวด้วย คาโงชิมะยังเป็นศูนย์กลางกิจกรรมสำคัญของศาสนาคริสต์ในญี่ปุ่น ในคริสต์ศตวรรษที่ 16 ถึง 17

คาโงชิมะเคยถูกกองทัพราชนาวีอังกฤษโจมตี ในปี พ.ศ. 2406 เพื่อลงโทษจากเหตุการณ์ฆาตกรรมชาลส์ เลนน็อกซ์ ริชาร์ดสัน

คาโงชิมะยังเป็นสถานที่เกิดและที่มั่นแหล่งสุดท้ายของไซโง ทากาโมริ หนึ่งในแกนนำสำคัญที่ทำการโค่นล้มระบอบการปกครองของรัฐบาลโชกุนตระกูลโทกูงาวะ ซึ่งถึงแก่กรรมในเหตุการณ์กบฏซัตสึมะ