ประวัติเมื่อครั้งแรกเริ่มสร้าง

ในสมัยเทมเปียว มีผู้ประสบภัยจากภัยธรรมชาติและโรคระบาดอยู่เป็นจำนวนมาก จนกระทั่งปี พ.ศ. 1286 จักรพรรดิโชมุได้ทรงประกาศว่า ประชาชนควรจะร่วมกันสร้างพระพุทธรูปขึ้นเพื่อปกป้องตนเองจากภัยพิบัติ เนื่องจากทรงมีความเชื่อว่าพระพุทธรูปจะช่วยคุ้มครองประชาชนได้ ตามบันทึกที่เก็บรักษาอยู่ในโทไดจิได้กล่าวว่า มีคนมาช่วยสร้างพระพุทธรูปและหอที่ประดิษฐานมากกว่า 2,600,000 คน การสร้างพระพุทธรูปเริ่มต้นครั้งแรกที่เมืองชิงารากิ แต่หลังจากเกิดเหตุเพลิงไหม้และแผ่นดินไหวจนมีผู้เสียชีวิตจำนวนมาก ก็ได้ย้ายสถานที่สร้างมายังเมืองนาระใน พ.ศ. 1288 และสร้างเสร็จสมบูรณ์ใน พ.ศ. 1294 ต่อมาใน พ.ศ. 1295 ได้มีการจัดพิธีเบิกพระเนตรเพื่อฉลองพระพุทธรูปองค์ใหม่ โดยมีพระภิกษุชาวอินเดียชื่อว่าพระโพธิเสนะ เป็นผู้ประกอบพิธี ตามบันทึกมีผู้มาร่วมพิธีราว 10,000 คน หลังจากนั้นจักรพรรดิโชมุได้ทรงประกาศให้โทไดจิเป็นวัดประจำจังหวัดยามาโตะ และเป็นศูนย์กลางของวัดทั่วอาณาจักร

การก่อสร้างขึ้นใหม่หลังสมัยนาระ

หลวงพ่อโตโทไดจิถูกสร้างขึ้นใหม่หลายครั้งโดยเหตุผลต่างๆกัน รวมทั้งความเสียหายจากเหตุแผ่นดินไหว และมีการสร้างขึ้นใหม่ 2 ครั้งที่มีสาเหตุจากเหตุเพลิงไหม้ โดยพระหัตถ์ทั้งสองข้างที่เห็นในปัจจุบันนี้สร้างขึ้นในสมัยโมโมยามะ (พ.ศ. 2111-2158) พระเศียรในปัจจุบันนี้ถูกสร้างขึ้นในสมัยเอโดะ (พ.ศ. 2158-2410) และหอที่ประดิษฐานในปัจจุบันนี้สร้างเสร็จสมบูรณ์เมื่อ พ.ศ. 2252 โดยมีขนาดเล็กกว่าอาคารหลังเดิมราว 30% เดิมทีในบริเวณวัดจะมีเจดีย์สูง 100 เมตรอยู่คู่หนึ่ง ซึ่งจัดว่าเป็นอาคารที่สูงที่สุดในโลกในยุคหลังจากการสร้างพีระมิด แต่ได้พังทลายลงเนื่องจากแผ่นดินไหว