ระดับชั้นบนสุดของการแบ่งเขตการปกครอง คือ จังหวัด มีทั้งหมด 47 จังหวัด แบ่งเป็น จังหวัดธรรมดา (ญี่ปุ่น: 県 โรมาจิ: ken ทับศัพท์: เค็ง) 43 จังหวัด, จังหวัดนคร (ญี่ปุ่น: 府 โรมาจิ: fu ทับศัพท์: ฟุ) 2 จังหวัด ได้แก่ จังหวัดโอซากะ และจังหวัดเกียวโต, มณฑล (ญี่ปุ่น: 道 โรมาจิ: dō ทับศัพท์: โด) 1 จังหวัด ได้แก่ จังหวัดฮกไกโด, และมหานคร (ญี่ปุ่น: 都 โรมาจิ: to ทับศัพท์: โทะ) 1 จังหวัด ได้แก่ โตเกียว ซึ่งแม้ว่าชื่อเรียกจะแตกต่างกัน แต่มีอำนาจหน้าที่เหมือนกัน

เค็ง

"จังหวัด" (ญี่ปุ่น: 県 โรมาจิ: ken ทับศัพท์: เค็ง) เป็นเขตการปกครองระดับจังหวัดที่มีมากที่สุด มีทั้งหมด 43 จังหวัด ความหมายของตัวอักษรจีนที่รับมา คือ "เทศมณฑล"

โทะ

โตเกียวจัดว่าเป็น "มหานคร" (ญี่ปุ่น: 都 โรมาจิ: to ทับศัพท์: โทะ) หลังจากที่มีการยุบนครโตเกียวในปี ค.ศ. 1943 โตเกียว-ฟุ (จังหวัดโตเกียว) ได้รับการยกฐานะเป็นโตเกียว-โตะ (มหานครโตเกียว) และแขวงของนครโตเกียวเดิมได้รับการยกฐานะเป็นแขวงพิเศษ ความหมายของตัวอักษรจีนที่รับมา คือ "เมืองหลวง"

ฟุ

จังหวัดโอซากะและจังหวัดเกียวโตจัดเป็น "จังหวัดนคร" (ญี่ปุ่น: 府 โรมาจิ: fu ทับศัพท์: ฟุ) ความหมายของอักษรจีนที่รับมาหมายถึงเขตเมืองหลักที่มีความสำคัญระดับชาติในยุคกลางของจีน หรือหมายถึงเขตการปกครองย่อยของมณฑลในช่วงปลายของจีน

โด

จังหวัดฮกไกโดจัดเป็น "มณฑล" (ญี่ปุ่น: 道 โรมาจิ: dō ทับศัพท์: โด) เดิมคำนี้ใช้กับเขตการปกครองของญี่ปุ่นที่ประกอบไปด้วยหลาย ๆ แคว้น ตัวอักษรจีนตัวนี้ยังเป็นตัวอักษรที่ใช้ในประวัติศาสตร์จีนที่หมายถึงมณฑลอีกด้วย