โทโงเกิดเมื่อวันที่ 27 มกราคม ค.ศ. 1848 ที่ตำบลคาจิยะ ของเมืองคาโงชิมะในแคว้นซัตสึมะ (ปัจจุบันคือจังหวัดคาโงชิมะ) เป็นบุตรชายคนที่สามจากสี่คนของ โทโง คิจิซาเอมง ซามูไรผู้รับใช้ตระกูลชิมาซุ กับ โฮริ มาซูโกะ

ตำบลคาจิยะถือเป็นหนึ่งในบริเวณของคาโงชิมะที่ถูกปกครองโดยเหล่าซามูไร ซึ่งมีบุคคลจากที่นี่มากมายกลายเป็นตัวแปรสำคัญในการปฏิรูปเมจิ เช่นไซโง ทากาโมริ หรือโอกูโบะ โทชิมิจิ เป็นต้น ซึ่งพวกเขาล้วนอยู่ฝ่ายสนับสนุนราชสำนักเนื่องจากตระกูลชิมาซุเป็นขั้วอำนาจทางการเมืองและการทหารในสงครามโบชิง ที่ต่อต้านรัฐบาลเอโดะในช่วงการปฏิรูปเมจิ