สมาคมฟุตบอลออสเตรียก่อตั้งในวันที่ 18 มีนาคม ค.ศ. 1904 ในจักรวรรดิออสเตรีย-ฮังการี ส่วนประวัติในระดับสากลของออสเตรีย เริ่มต้นขึ้นในทศวรรษที่ 30 เมื่อได้รับการขนานนามให้เป็น "ทีมมหัศจรรย์" จากรูปแบบการเล่นที่สวยงามและมีประสิทธิภาพ และมีสถิติไม่แพ้ใครติดต่อกันถึง 14 นัด ในช่วง ค.ศ. 1931–32 และเข้าร่วมฟุตบอลโลก 1934 โดยถูกจัดให้เป็นทีมหนึ่งที่มีโอกาสคว้าแชมป์ไปครอง แต่ในรอบรองชนะเลิศออสเตรียแพ้ต่ออิตาลี ซึ่งต่อมาอิตาลีก็ได้แชมป์ไปในท้ายที่สุด

ออสเตรียประสบความสำเร็จสูงสุดในฟุตบอลโลก 1954 เมื่อเป็นทีมที่ได้ถึงอันดับ 3 จนถึงปัจจุบันออสเตรียผ่านเข้าไปเล่นในฟุตบอลโลกรอบสุดท้ายมาแล้ว 7 ครั้ง โดยครั้งสุดท้ายคือฟุตบอลโลก 1998 โดยมี โทนี โพลสเตอร์ และแอนเดรียส แฮร์โซก โดยทั้งคู่เป็นผู้เล่นคนสำคัญจากบุนเดิสลีกา จากนั้นออสเตรียก็ถึงจุดที่ต้องเปลี่ยนถ่ายตัวผู้เล่นในยุคต่อมา ซึ่งต้องใช้เวลานานในการจะมีผู้เล่นที่มีความสามารถขึ้นมาสู่ระดับทีมชาติ

ในฟุตบอลชิงแชมป์แห่งชาติยุโรป ออสเตรียก็ไม่มีวี่แววว่าจะผ่านเข้าไปได้เล่นอีกเลย เมื่อเป็นยุคของการเปลี่ยนถ่ายตัวผู้เล่น โดยในปี ค.ศ. 2008 ก็ได้ใช้สิทธิในการเป็นเจ้าภาพร่วมกับสวิตเซอร์แลนด์ ผ่านเข้าไปเล่นรอบสุดท้ายได้ แต่ก็ต้องตกรอบแรกไปอย่างที่เก็บคะแนนได้เพียงแต้มเดียวเท่านั้นเอง

ในฟุตบอลชิงแชมป์แห่งชาติยุโรป 2016 ออสเตรียก็ได้ผ่านเข้าไปร่วมแข่งขันด้วย โดยมีผลงานที่ยอดเยี่ยมคือการเอาชนะสวีเดนไปได้ถึง 1–4 ถึงสวีเดนในรอบคัดเลือกเมื่อปี ค.ศ. 2015 ออสเตรียอยู่ในกลุ่มเอฟ เช่นเดียวกับ โปรตุเกส, ฮังการี และไอซ์แลนด์ โดยลงแข่งขันนัดแรกพบกับฮังการี ในวันที่ 14 มิถุนายน ค.ศ. 2016 ที่สนามนูโวสตาดเดบอร์โด ในเมืองบอร์โด[1]