ยุคหินญี่ปุ่น เริ่มต้นตั้งแต่ระยะเวลาจากรอบ 35,000 ปีก่อนคริสต์ศักราช - 14,000 ปีก่อนคริสต์ศักราช เป็นยุคแรกในประวัติศาสตร์อารยธรรมญี่ปุ่น และเป็นยุคก่อนประวัติศาสตร์ ไม่พบตัวอักษรใด ๆ ในยุคนี้ สมัยนั้นเป็นยุคน้ำแข็ง และแผ่นดินญี่ปุ่นยังติดกับจีนแผ่นดินใหญ่ เพราะญี่ปุ่นในสมัยนั้นยังไม่ห่างจากจีนมากนัก และช่วงนั้นเป็นยุคน้ำแข็ง ทำให้เกิดสะพานน้ำแข็งเชื่อมระหว่างจีนกับญี่ปุ่น อารยธรรมและเมืองยังไม่ค่อยมีในยุคนี้ เนื่องจากในช่วงยุคน้ำแข็งอันแร้นแค้น ชาวญี่ปุ่นในยุคนั้นจึงเลือกที่จะทำการออกล่าสัตว์ คิดค้นอาวุธล่าสัตว์ ออกเดินทางไปยังท้องถิ่นต่อไปเมื่อสัตว์ในท้องถิ่นถูกฆ่าหมด และกังวลเรื่องอาหารมื้อต่อไปเสียมากกว่า ญี่ปุ่นในยุคนี้จึงหาอารยธรรมใด ๆ ไม่ง่ายนักทางด้านการขุดค้นพบ ในสมัยก่อนนั้นชาวญี่ปุ่นยุคใหม่ยังไม่พบหลักฐานใด ๆ ที่แสดงว่าญี่ปุ่นมีคนอาศัยอยู่ตั้งแต่ก่อนสมัยโจมง (14,000-400 ปีก่อนค.ศ.) และในช่วงหลังสงครามโลกครั้งที่ 2 จึงมาค้นพบหลักฐานที่ยืนยันว่า มีชาวญี่ปุ่นอาศัยอยู่ในแผ่นดินตั้งแต่ก่อนสมัยโจมงแล้ว และหลักฐานที่แสดงถึงการเคยมีมนุษย์นั้น ชิ้นที่เก่าที่สุดมีอายุ 35,000 ปีก่อนค.ศ. ตอนนี้จึงสรุปได้เพียงว่าเริ่มมีมนุษย์มาตั้งถิ่นฐานในญี่ปุ่นตั้งแต่ช่วง 35,000 ปีก่อนค.ศ. แต่ในอนาคตอาจค้นพบหลักฐานเพิ่มเติมที่จะบอกว่ามีมนุษย์มาตั้งถิ่นฐานในญี่ปุ่นก่อน 35,000 ปีก่อน ค.ศ. ก็เป็นได้