หมู่บ้านญี่ปุ่นเป็นชุมชนชาวญี่ปุ่นในกรุงศรีอยุธยานั้นเริ่มมีขึ้นราวสมัยสมเด็จพระมหาธรรมราชา ช่วงปลายพุทธศตวรรษที่ 21 โดยเริ่มต้นมาจากชุมชนเล็กๆ ของพ่อค้าเรือสำเภาชาวญี่ปุ่น ซึ่งภายในหมู่บ้านนั้นสันนิษฐานว่ามีชาวญี่ปุ่นอยู่ 3 กลุ่มด้วยกัน คือ พ่อค้าโรนินหรือนักรบญี่ปุ่นที่เข้ามาเป็นทหารอาสาญี่ปุ่นในอยุธยา และชาวญี่ปุ่นที่นับถือศาสนาคริสต์ เดินทางออกจากญี่ปุ่นเพื่อเสรีภาพในการนับถือศาสนา

ต่อมาได้รับพระมหากรุณาธิคุณจากพระมหากษัตริย์พระราชทานที่ดินให้ตั้งหมู่บ้าน ที่ตั้งของหมู่บ้านญี่ปุ่นนี้ก็อยู่ในบริเวณที่ตั้งเดิมของชุมชนชาวญี่ปุ่นเมื่อครั้งกรุงศรีอยุธยา ที่ตั้งอยู่ทางฝั่งตะวันออก ริมแม่น้ำเจ้าพระยาทางตอนใต้ของเกาะเมือง โดยในสมัยนั้น ฝั่งตรงข้ามแม่น้ำเป็นชุมชนชาวโปรตุเกส ส่วนที่ติดกับด้านเหนือของหมู่บ้านญี่ปุ่นจะมีคลองเล็กๆ คั่นเป็นชุมชนอังกฤษและชุมชนฮอลันดา