ยุคหิน

จากการค้นคว้าทางโบราณคดีพบว่ามีผู้อาศัยอยู่บนหมู่เกาะญี่ปุ่นกว่า 100,000 ปีมาแล้ว ตั้งแต่ครั้งยังเป็นส่วนหนึ่งของผืนแผ่นดินทวีปเอเชีย คนโบราณที่อาศัยอยู่ในหมู่เกาะญี่ปุ่นในยุคหินได้หาเลี้ยงชีพด้วยการล่าสัตว์ และเก็บของป่ามาเป็นอาหาร อีกทั้งเมื่อประมาณ 30,000 กว่าปีก่อนได้มีวัฒนธรรมการทำหินเป็นมีดและการประดิษฐ์อาวุธเช่นหอกเข้ามาจากภาคพื้นทวีปมาสู่ดินแดนญี่ปุ่น ยุคนี้ยังคงดำรงเรื่อยมากระทั่งสิ้นสุดยุคน้ำแข็งสุดท้ายที่ได้สิ้นสุดลงในช่วงประมาณ 12,000 - 11,000 ปี ซึ่งทำให้วิถีชีวิตของมนุษย์ทั่วโลกได้เปลี่ยนไปอย่างมาก ดินแดนญี่ปุ่นเว้นแต่หมู่เกาะทางตะวันตกเฉียงใต้จึงสิ้นสุดยุคหินเข้าสู่ยุคโจมง

ยุคโจมง

ต่อมาในยุคโจมง (縄文時代, โจมงจิได) ในช่วงประมาณ 10,000 ปีที่แล้วก็ได้มีการผลิตเครื่องมือเครื่องใช้ที่ทำจากหินด้วยความประณีต มีการพัฒนาวิธีการล่าสัตว์โดยใช้คันธนูและลูกธนู ตลอดจนมีการผลิตภาชนะเครื่องปั้นดินเผาใส่อาหารและเก็บรักษาอาหาร ยุคประมาณ 14,000 ปี ถึง 300 ปี ก่อนคริสต์ศักราชเรียกว่า สมัยโจมง ตามรูปแบบเครื่องปั้นดินเผาโจมงที่มีลวดลายเป็นเชือก

ยุคยะโยอิ

ต่อมาเมื่อประมาณ 500 ถึง 300 ปีก่อนคริสต์ศักราช จนถึงกลางคริสต์ศตวรรษที่ 3 ญี่ปุ่นได้เปลี่ยนเข้าสู่ยุคยะโยอิ (弥生時代, ยะโยะอิจิได) คำว่ายะโยอินั้นได้มาจากแขวงหนึ่งในเขตบุงเกียว กรุงโตเกียว ซึ่งเป็นสถานที่แรกที่ค้นพบร่องรอยเกี่ยวกับยุคนี้

ช่วงต้นของยุคยะโยอิปรากฏให้เห็นถึงการที่ได้เรียนรู้ถึงการเกษตร เช่นการปลูกข้าว การทำเครื่องใช้โลหะ และการเคารพบูชาภูติผีปีศาจซึ่งเป็นัวฒนธรรมที่เข้ามาทางเกาหลีและแผ่นดินใหญ่ [1] ชาวญี่ปุ่นใช้เครื่องมือเครื่องใช้ทำด้วยเหล็กที่ใช้ในการเพาะปลูกในชีวิตประจำวัน เพื่อเพิ่มผลผลิตทางการเกษตร และใช้ดาบที่ทำด้วยทองแดงและกระจกในการประกอบพิธีกรรมทางศาสนา การจัดแบ่งงานทำให้ช่องว่างระหว่างผู้ปกครองดินแดนและผู้อยู่ใต้การปกครองกว้างขึ้น ในช่วงนี้รัฐเล็กๆ จำนวนมากจึงได้ก่อตัวขึ้นทั่วประเทศ

การกล่าวถึงญี่ปุ่นครั้งแรกปรากฏขึ้นในบันทึกของราชสำนักจีนสมัยราชวงศ์ฮั่น โฮ่วฮั่นชู (จีนตัวย่อ: 后汉书; จีนตัวเต็ม: 後漢書) ในปี 57 ก่อนคริสตกาล [2] บันทึกได้กล่าวถึงชาววะ (倭) ที่ข้ามทะเลมาส่งบรรดาการนั้นประกอบไปด้วย 100 กว่าเผ่า หนังสือเว่ย (魏書/魏书) ที่เขียนขึ้นในช่วงคริสต์ศตวรรษที่ 3 ยังได้กล่าวอีกว่าประเทศดังกล่าวเป็นการรวมตัวของรัฐเล็กๆ กว่า 30 รัฐ ที่มีผู้ปกครองเป็นสตรีชื่อว่าฮิมิโกะแห่งยะมะไทโคะกุ (邪馬台国の卑弥呼)

แหล่งโยะชิโนะงะริ (吉野ヶ里遺跡) เป็นแหล่งโบราณคดีขนาดใหญ่ของยุคยะโยอิที่ตั้งอยู่บนเกาะคิวชู การขุดค้นปรากฏให้เห็นถึงส่วนที่เก่าแก่ที่สุดที่ถูกสร้างขึ้นในช่วง 400 ปีก่อน ค.ศ. วัตถุส่วนมากที่ขุดค้นพบนั้นเป็นวัตถุที่ทำจากโลหะสัมฤทธิ์ รวมทั้งสิ่งที่นำเข้ามาจากจีนแล้ว