ยุคก่อนประวัติศาสตร์ของญี่ปุ่น ได้แก่ ยุคโจมง, ยุคยะโยอิ และยุคโคฟุง ตั้งแต่ 5000 ปีก่อนคริสตกาลจนถึงต้นคริสต์ศตวรรษที่แปด

ในยุคแรกคือยุคโจมง บ้านเรือมีลักษณะเป็นบ้านหลุมที่มีหลุมตื้น ๆ บนพื้นดินที่ตอกให้แน่น หลังคาทำมาจากหญ้าออกแบบเพื่อเก็บน้ำฝนในโหลเก็บน้ำ ต่อมาเมื่ออากาศหนาวเย็นลงและมีฝนตกหนักขึ้น ทำให้ประชากรลดจำนวนลงส่งผลให้ผู้คนมีความสนใจในพิธีกรรมและความเชื่อขึ้นมา มีการค้นพบหินวงกลมร่วมศูนย์กลางเป็นครั้งแรกในยุคนี้[2]

ในยุคยะโยอิ ชาวญี่ปุ่นเริ่มมีปฏิสัมพันธ์กับชาวจีนยุคฮั่นและได้รับอิทธิพล เทคนิคการก่อสร้างต่าง ๆ เข้ามา[2] บ้านเรือนและสิ่งก่อสร้างแบบยกพื้นซึ่งต้องสร้างโดยใช้เครื่องมือโลหะ เริ่มพบมีการสร้างครั้งแรกในยุคนี้[3] นักวิชาการบางส่วนเชื่อว่าการสร้างอาคารยกสูงแบบนี้เป็นผลมาจากการที่ได้ติดต่อกับชาวออสโตรนีเชียนกลุ่มที่ปลูกข้าว จากชายฝั่งของจีนหรือไต้หวันมากกว่าที่จะมาจากชาวฮั่น[4][5]

ยุคโคฟุงเป็นครั้งแรกที่มีการก่อสร้างเนินฝังศพที่ประกอบด้วยโถงหลายห้อง เชื่อกันว่าได้รับอิทธิพลจากเนินฝังศพลักษณะเดียวกันที่พบในแหลมเกาหลี[6] ในยุคนี้ สุสานแบบ “รูกุญแจ” หรือ “โคฟุง” มักสร้างขึ้นโดยใช้ประโยชน์จากลักษณะผืนดินที่มีอยู่แล้วมาขุดคูให้เป็นรูปเป็นร่างขึ้นมาจนมีผืนดินลักษณะรูปรูกุญแจขึ้น (รูปวงกลมเชื่อมกับสามเหลี่ยม) โถงภายในบรรจุศพและเครื่องใช้ตามความเชื่อ ส่วนเนินมักตกแต่งด้วยเครื่องตกแต่งดินเผา เรียกว่า “ฮะนิวะ” ในยุคถัด ๆ มาเนินเริ่มตั้งอยู่บนพื้นเรียบ และมีขนาดที่ใหญ่ขึ้นมาก ตัวอย่างสุสานที่พบเช่นที่นารา, โอซะกะ และ “ไดเซ็ง-โคฟุง” สุสานของจักรพรรดินินโทคุ พื้นที่ 32 เฮกตาร์ (79 เอเคอร์s) ตกแต่งด้วยฮะนิวะที่เชื่อกันว่ามีมากถึง 20,000 ชิ้น[2]

หลังสิ้นสุดยุคโคฟุง เนินฝังศพค่อย ๆ ลดความนิยมลงไปพร้อมกับการเข้ามาของศาสนาพุทธในญี่ปุ่น ซึ่งมีพิธีศพที่เป็นที่นิยมกว่า[2]

• บ้านยกพื้น ในโยชิโนการิ, จังหวัดซากะ (คริสต์ศตวรรษที่ 2 - 3)
• บ้านหลุม ในโยชิโนการิ
• อาคารยกพื้น ในโยชิโนการิ
• ไดเซ็นเรียวโคฟุง ในโอซะกะ (คริสต์ศตวรรษที่ 5)