ท่านหญิงคาซูงะเกิดในตระกูลซะมุไรที่มีชื่อเสียง เป็นธิดาของไซโต โทะชิมิสึ ผู้ติดตามของอะเกะชิ มิสึฮิเดะ ส่วนมารดาเป็นธิดาของอินะบะ โยะชิมิชิ

เธอสมรสกับอินะบะ มะซะนะริ มีบุตรด้วยกันสามคน หนึ่งในนั้นคืออินะบะ มะซะกะสึ นอกจากนี้ยังรับอุปการะฮตตะ มะซะโตะชิ บุตรของฮตตะ มะซะโมะริ ผู้เป็นที่ปรึกษาของโชกุนอิเอะยะซุ ที่ต่อมาท่านหญิงคะซุงะได้เป็นนางนมของโทะกุงะวะ อิเอะมิสึ และรับบรรดาศักดิ์เป็นนางในชั้นสูง (ญี่ปุ่น: 大奥; โรมาจิ: Ōoku) สูงศักดิ์ยิ่งกว่าสตรีนางใดในปราสาทเอะโดะ

ในปี 2172 เธอเข้าเฝ้าจักรพรรดิ ณ ราชสำนักเคียวโตะ และมีพระกรุณาโปรดเกล้าเลื่อนบรรดาศักดิ์เป็นกรณีพิเศษเป็นนางในชั้นสูงขั้นที่สอง และถูกเรียกอย่างยกย่องว่า ท่านหญิงคะซุงะ มาแต่นั้น[1]

ท่านหญิงคาซูงะถึงแก่กรรมเมื่อวันที่ 26 ตุลาคม พ.ศ. 2186 มีพิธีปลงศพ ณ วัดริงโช บุงเกียว กรุงโตเกียว ภายในวัดดังกล่าวได้เก็บรักษาภาพของเธอที่วาดโดยคะโน ทังยู ส่วนย่านคะซุงะในเขตบุงเกียวก็ตั้งตามนามของเธอ