ก่อนใช้รัฐธรรมนูญเมจิ ญี่ปุ่นไม่มีรัฐธรรมนูญเป็นลายลักษณ์อักษร มีแต่ระบบกฎหมายริตสึเรียวที่ได้อิทธิพลจากจีนและตราขึ้นในช่วงปลายยุคอาซูกะต่อต้นยุคนาระ ที่กำหนดให้มีระบบข้าราชการประจำอันซับซ้อนซึ่งปฏิบัติหน้าที่ภายใต้การบังคับบัญชาของจักรพรรดิตามระบบคุณธรรม แต่ในทางปฏิบัติแล้ว อำนาจที่แท้จริงไม่ได้อยู่ที่จักรพรรดิ แต่อยู่ที่อื่น เช่น ในเงื้อมมือของตระกูลฟูจิวาระที่เข้ามาสมรสกับราชวงศ์ในยุคเฮอัง หรืออยู่ในเงื้อมมือของโชกุน เป็นเช่นนี้เรื่อยมาจนกระทั่งมีการปฏิรูปเมจิ กฎหมายแบบริตสึเรียวฉบับสุดท้าย คือ ประมวลกฎหมายโยโร ตราขึ้นใน ค.ศ. 752 ซึ่งเมื่อมีการปฏิรูปเมจิก็ยังใช้บังคับอยู่

ภายใต้ระบบกฎหมายข้างต้น ไดโจไดจิง (อัครมหาเสนาบดี) เป็นหัวหน้าของคณะเสนาบดีที่เรียก "ไดโจกัง" อันเป็นหน่วยงานสูงสุดในระบบราชการตั้งแต่ยุคเฮอังเรื่อยมา ตำแหน่งนี้ยุบเลิกไปช่วงหนึ่ง แล้วรื้อฟื้นขึ้นใหม่เพื่อมอบให้แก่ซันโจ ซาเนโตมิ ใน ค.ศ. 1871 จนกระทั่ง ค.ศ. 1885 ก็ยุบเลิกตำแหน่งนี้ไปใช้ตำแหน่งนายกรัฐมนตรี โดยแต่งตั้งอิโต ฮิโรบูมิ เป็นบุคคลแรก[1] แต่รูปแบบนายกรัฐมนตรีในปัจจุบันนั้นเกิดขึ้นเมื่อมีการตรารัฐธรรมนูญฉบับใหม่ใน ค.ศ. 1947

ปัจจุบัน ญี่ปุ่นมีนายกรัฐมนตรีแล้ว 61 คน คนปัจจุบัน คือ ชินโซ อาเบะ ซึ่งดำรงตำแหน่งเป็นวาระที่สองตั้งแต่วันที่ 26 ธันวาคม ค.ศ. 2012 นับเป็นบุคคลแรกตั้งแต่ ค.ศ. 1948 ที่ได้ดำรงตำแหน่งนี้ซ้ำ ทั้งยังอยู่ในตำแหน่งนี้ยาวนานที่สุดเป็นอันดับสาม