ประมาณ 100 ปีก่อน ค.ศ. ชนชาติเยอรมันลงใต้จากสแกนดิเนเวียและแพร่กระจายไปทั่วตั้งแต่แม่น้ำไรน์จนถึงเทือกเขายูรัล และเผชิญหน้ากับการแผ่ขยายของจักรวรรดิโรมัน แม้ชาวโรมันจะพยายามจะพิชิตชาวเยอรมัน ใน ค.ศ. 9 ทัพโรมันพ่ายแพ้ชาวเยอรมันที่ป่าทอยโทบวร์ก (Teutoburg Forest) ทำให้ชาวโรมันเลิกล้มความคิดที่จะรุกรานเยอรมัน และชนชาติเยอรมันก็รุกคืบไปตั้งรกรากตามชายแดนจักรวรรดิโรมัน และแตกออกเป็นหลายเผ่า ที่มีชื่อเสียงคือ วิซิกอธ แวนดัล แฟรงก์ ฯลฯ และเข้ารีตคริสต์ศาสนานิกายอาเรียนิสม์ (Arianism) ซึ่งชาวโรมันไม่ยอมรับ

แต่ในศตวรรษที่ 4 ชาวฮั่นมาจากเอเชียเป็นนักรบบนหลังม้าที่ป่าเถื่อน เข้าบุกเผาทำลายหมู่บ้านและสังหารชาวเยอรมันอย่างโหดเหี้ยม ทำให้เผ่าเยอรมันต่าง ๆ ทนไม่ไหวต้องหลบหนีเข้าไปในจักรวรรดิโรมัน บ้างด้วยสันติวิธีบ้างก็บุกเข้าไป ทำให้จักรวรรดิโรมันอ่อนแอ จนใน ค.ศ. 410 โอโดอาเซอร์ (Odoacer) ผู้นำเผ่าเยอรมันเผ่าหนึ่ง ยึดกรุงโรมและปลดจักรพรรดิโรมันองค์สุดท้ายใน ค.ศ. 476 จักรวรรดิโรมันจึงล่มสลาย

เมื่อจักรวรรดิโรมันล่มสลายชาวแฟรงก์ที่ตั้งรกรากในฝรั่งเศสก็เรืองอำนาจที่สุดในยุโรปภายใต้ราชวงศ์เมโรวิงเจียน ในเยอรมนี มีเผ่าต่าง ๆ ปกครองตนเองได้แก่พวกซูเอบี (Suebi) พวกธือริงเงน (Thuringen) พวกแซกซอน (Saxons) พวกบาวาเรียน (Bayern) และพวกแฟรงก์ (Franks) ซึ่งจะกลายเป็นชื่อแคว้นต่าง ๆ ในเยอรมนี (สวาเบีย ธูรินเจีย แซกโซนี บาวาเรีย และฟรังโคเนีย ตามลำดับ) แต่เผ่าเหล่านี้ต้องตกอยู่ภายใต้อำนาจของพวกแฟรงก์ ซึ่งแผ่ขยายอำนาจมาในศตวรรษที่ 5 ถึง 8 โดยเฉพาะสงครามกับพวกแซกซอนของพระเจ้าชาร์เลอมาญ (Charlemagne) ของชาวแฟรงก์ แห่งราชวงศ์การอแล็งเฌียง ทำให้พวกแซกซอนต้องเข้ารีตศาสนาคริสต์และอยู่ภายใต้การปกครองของพวกแฟรงก์

ยังมีเผ่าเยอรมันอีกเผ่า คือ พวกลอมบาร์ด (Lombards) เข้าบุกอิตาลี ทำให้พระสันตะปาปาทรงขอให้พระเจ้าชาร์เลอมาญทรงช่วยเหลือ พระเจ้าชาร์เลอมาญทรงขับไล่พวกลอมบาร์ดได้และได้รับการสวมมงกุฎจากพระสันตะปาปาเป็นจักรพรรดิโรมัน ใน ค.ศ. 800 เป็นจุดเริ่มต้นของจักรวรรดิโรมันอันศักดิ์สิทธิ์ จักรวรรดิของพระเจ้าชาร์เลอมาญถูกแบ่งเป็นสามส่วนตามสนธิสัญญาแวร์ดังใน ค.ศ. 843 อาณาจักรแฟรงก์ตะวันออกจะกลายเป็นเยอรมนีในปัจจุบัน