ดินแดนที่เป็นประเทศออสเตรียปัจจุบันมีมนุษย์อาศัยตั้งแต่ยุคหินเก่าและเป็นเหมืองเกลือที่สำคัญในยุคหินใหม่ การตั้งบ้านเมืองเป็นราชอาณาจักรเริ่มเมื่อราว พ.ศ. 93 โดยชาวเคลต์ที่เข้ามาตั้งราชอาณาจักรนอริคัมทางใต้ของแม่น้ำดานูบ จนกระทั่ง พ.ศ. 528 จึงถูกผนวกเข้าเป็นส่วนหนึ่งของจักรวรรดิโรมัน

เมื่อจักรวรรดิโรมันล่มสลายใน พ.ศ. 1019 ดินแดนนอริคัมถูกรุกรานโดยชนเผ่าเยอรมันทางตอนเหนือและชนเผ่าอื่น ๆ ทั้งชาวแวนดัล ชาวฮ่น ชาวบาวาเรียน และชาวสลาฟ ในช่วงระหว่างยุคการรุกรานของบาบาเรียน อนารยชนสลาฟแห่งคารานทาเนียนได้อพยพมาในเทือกเขาแอลป์และขยายอาณาเขตกว้างขึ้นเรื่อยๆช่วงระหว่างศตวรรษที่ 7 ได้รวมกับพวกเซลโต-โรมานิกและก่อตั้งดินแดนคาเรนทาเนียครอบคลุมภาคตะวันออกและภาคกลางของออสเตรีย ในช่วงนั้นชนเผ่าเยอรมันแห่งบาวาเรียได้เข้ามาบุกเบิกในช่วงศตวรรษที่ 5 และ 6 ทางภาคตะวันตกของประเทศและในบาวาเรียซึ่งปัจจุบันคือ วอรารล์เบิร์กที่พวกอารามานเข้ามาอยู่ ชนเผ่าเยอรมันได้รวมกับพวกราเอโต-โรมานิกและผลักดันให้พวกอารามานต้องอพยพไปอยู่ในเทือกเขา

คาเรนทาเนียภายใต้การกดขี่ของเผ่าเอวาร์ได้ประกาศอิสรภาพจากบาวาเรียใน พ.ศ. 1288 และได้กลายเป็นมาร์กราเวียท (เคานท์) ระหว่างผ่านไปหลายศตวรรษ ชาวบาวาเรียนได้อพยพลงมาแถบแม่น้ำดานูบและขึ้นไปในเทือกเขาแอลป์ และปัจจุบันชาวออสเตรียจึงนิยมพูดภาษาเยอรมันกันมากพวกบาวาเรียนได้อยู่ภายใต้การปกครองของราชวงศ์คาโรลินเจียนและได้กลายเป็นดัชชีแห่งจักรวรรดิโรมันอันศักดิ์สิทธิ์ตามลำดับ ต่อมา ดยุกทาซิลโลที่ 3 แห่งบาวาเรียผู้ต้องการอิสรภาพแก่บาวาเรียได้ถูกกำจัดและขับไล่ไปจากบาวาเรียโดยชาร์เลอมาญใน พ.ศ. 1331

พระเจ้าชาร์เลอมาญทรงเผยแพร่ศาสนาคริสต์ในจักรวรรดิของพระองค์ เมื่อพระองค์สวรรคตและเกิดการแย่งชิงราชสมบัติของพระราชนัดดา จนมีการแบ่งราชอาณาจักรแฟรงค์ตามสนธิสัญญาแวร์เดิง ออสเตรียเป็นส่วนหนึ่งของแฟรงค์ตะวันออกและถูกรุกรานโดยฮังการีในพ.ศ. 1452