ตัวอักษรคาตากานะนั้นสร้างขึ้นในยุคเฮอัง (平安時代) โดยนำมาจากส่วนหนึ่งของตัวคันจิพัฒนามาจากอักษรจีนที่ใช้โดยพระภิกษุเพื่อแสดงการออกเสียงอักษรจีนที่ถูกต้องเมื่อประมาณ พ.ศ. 1400 ในช่วงแรกมีสัญลักษณ์หลายตัวที่แสดงเสียงเดียวกัน แต่เมื่อเวลาผ่านไป อักษรถูกปรับปรุงให้ดีขึ้น ราว พ.ศ. 1900 มีสัญลักษณ์ 1 ตัว ต่อ 1 พยางค์เท่านั้น คำว่า คาตากานะ หมายถึงอักษรพยางค์ที่เป็นส่วน (ของคันจิ)