คำว่า นัมบัง นั้นเป็นศัพท์มาจากภาษาจีน เขียนเป็นอักษรจีนว่า 南蛮 อ่านตามภาษาจีนกลางว่า หนานหมาน เดิมทีในความคิดของชาวจีนนั้น 南蛮 เป็นคำที่บ่งบอกถึงกลุ่มชาติพันธุ์ต่าง ๆ ทางตอนใต้จากบริเวณที่ราบลุ่มตอนกลางของจีน เป็นคำที่ใช้เรียกเชิงเหยียดหยาม แต่ที่ญี่ปุ่นใช้คำนี้เรียกชายตะวันตก ในปัจจุบันแทบไม่มีความหมายในเชิงเหยียดหยามแล้ว และคำว่า 南蛮 ก็ถูกนำมาใช้เรียกของบางอย่างที่มีที่มาจากโลกตะวันตก จึงเป็นที่มาของคำว่านัมบังงาชิ