รูด็อล์ฟทรงเข้าพิธีราชาภิเษกที่มหาวิหารอาเคินเมื่อวันที่ 24 ตุลาคม ค.ศ. 1273 เพื่อเป็นการแลกกับการยอมรับโดยพระสันตะปาปารูด็อล์ฟก็ยอมสละพระราชสิทธิในกรุงโรม ในดินแดนของพระสันตะปาปา และซิซิลี และทรงสัญญาว่าจะนำสงครามครูเสด แม้ว่าจะได้รับการประท้วงจากพระเจ้าออทโทคาร์ที่ 2 แห่งโบฮีเมีย สมเด็จพระสันตะปาปาเกรกอรีที่ 10 ไม่เพียงแต่จะทรงยอมรับการครองราชย์ของรูด็อล์ฟว่าเป็นไปโดยชอบธรรมแต่ยังทรงหว่านล้อมให้พระเจ้าอัลฟอนโซที่ 10 แห่งคาสตีล (พระนัดดาอีกองค์หนึ่งของฟิลิปแห่งชวาเบีย) ผู้ทรงได้รับเลือกให้เป็นกษัตริย์แห่งเยอรมนีในปี ค.ศ. 1257 ต่อจากเคานต์วิลเฮล์มที่ 2 แห่งฮอลแลนด์ให้สนับสนุนด้วย ซึ่งทำให้รูด็อล์ฟได้เลื่อนตำแหน่งขึ้นเหนือกว่าทายาทโฮเฮนชเตาเฟินที่เคยรับใช้ด้วยความภักดีก่อนหน้านั้น

ในเดือนพฤศจิกายนปี ค.ศ. 1274 ราชสภาเยอรมัยในเนิร์นแบร์กก็อนุมัติว่าดินแดนที่ถูกยึดไปหลังจากการสิ้นพระชนม์ของจักรพรรดิฟรีดริชต้องได้รับการคืนมา และพระเจ้าออทโทคาร์ที่ 2 ต้องมาปรากฏตัวต่อสภาในฐานะที่ไม่ทรงยอมรับพระมหากษัตริย์องค์ใหม่ พระเจ้าออทโทคาร์ทรงปฏิเสธที่จะปรากฏพระองค์และไม่ทรงยอมคืนมณฑลออสเตรีย สติเรีย คารินเทีย และ คาร์นิโอลา ที่พระองค์ทรงอ้างสิทธิโดยทางพระชายาองค์แรกผู้ทรงเป็นทายาทของบาเบ็นแบร์ก และยึดมาเป็นของพระองค์เองในระหว่างความขัดแย้งกับทายาทของบาเบนแบร์กคนอื่น แฮร์มันน์ที่ 6 มาร์กราฟแห่งบาเดิน รูด็อล์ฟค้านสิทธิในการครองดินแดนของออตโตคาร์โดยสิทธิการเป็นสามีของทายาทบาเบนแบร์ก และทรงประกาศว่าจังหวัดต่างๆ เหล่านั้นกลับมาเป็นของราชบัลลังก์เยอรมันเพราะขาดทายาทที่เป็นชาย (ซึ่งเป็นพระราชนโยบายที่ขัดกับพระราชกฤษฎีกาทายาทรอง (Privilegium Minus) ที่ออกโดยสมเด็จพระจักรพรรดิฟรีดริชที่ 1 ในปี ค.ศ. 1156 ที่อนุญาตให้ดินแดนตกไปเป็นของสตรีได้)

พระเจ้าออทโทคาร์ทรงถูกแบน และในเดือนมิถุนายน ค.ศ. 1276 เยอรมันก็ประกาศสงครามต่อพระองค์ หลังจากที่ทรงหว่านล้อมให้ไฮน์ริชที่ 1 ดยุกแห่งบาวาเรียใต้ผู้สนับสนุนออตโตคาร์หันมาเข้าข้างพระองค์แล้ว รูด็อล์ฟก็บังคับให้พระเจ้าออทโทคาร์คืนสี่มณฑลให้กับสำนักงานแผ่นดินในเดือนพฤศจิกายน ค.ศ. 1276 หลังจากนั้นรูด็อล์ฟก็พระราชทานโบฮีเมียให้กับออตโตคาร์ และทรงยกพระราชธิดาให้กับพระราชโอรสของออตโตคาร์เวนสเลาส และทรงนำขบวนเสด็จเข้ากรุงเวียนนาอย่างผู้ได้รับชัยชนะ

แต่ทางพระเจ้าออทโทคาร์ก็ทรงมีปัญหาในข้อปฏิปัติของสนธิสัญญา และหันไปสร้างพันธมิตรกับประมุขในดินแดนโปแลนด์บางกลุ่ม และกับเจ้าเยอรมันบางพระองค์ที่รวมทั้งอดีตพันธมิตรของรูด็อล์ฟไฮน์ริชที่ 1 ดยุกแห่งบาวาเรียใต้ ในการต่อต้านรูด็อล์ฟก็ไปสร้างพันธมิตรกับพระเจ้าลาดิสเลาสที่ 4 แห่งฮังการี และพระราชทานสิทธิให้แก่ประชาชนชาวเวียนนาเพิ่มขึ้น เมื่อวันที่ 26 สิงหาคม ค.ศ. 1278 กองทัพของทั้งสองฝ่ายก็ปะทะกันบนฝั่งแม่น้ำมาร์ชในยุทธการเดิร์นครุทและเยเดนชปีเก็น (Battle of Dürnkrut and Jedenspeigen) ที่ออตโตคาร์ทรงได้รับความพ่ายแพ้และทรงถูกสังหาร โมราเวียถูกปราบปรามให้อยู่ภายใต้การปกครองของรัฐบาลผู้แทนของรูด็อล์ฟ ทิ้งให้คุนิกุนดา สมเด็จพระราชินีนาถแห่งโบฮีเมีย (Kunigunda, the Queen Regent of Bohemia) ครอบครองแต่เพียงดินแดนรอบกรุงปราก

จากนั้นรูด็อล์ฟก็หันความสนใจไปยังดินแดนออสเตรียและมณฑลที่ติดกันที่ได้รับมาอยู่ในพระราชอำนาจ พระองค์ทรงใช้เวลาหลายปีในการวางรากฐานของพระราชอำนาจ แต่ทรงประสบกับอุปสรรคในการแต่งตั้งพระญาติพระวงศ์ให้ไปสืบครองดินแดนเหล่านั้น แต่ในที่สุดก็ทรงได้รับชัยชนะ ในเดือนธันวาคม ค.ศ. 1282 รูด็อล์ฟก็ทรงแต่งตั้งให้พระราชโอรสอัลเบรชท์ และ รูด็อล์ฟ เป็นดยุกแห่งออสเตรียและดัชชีสติเรีย ซึ่งเป็นการวางรากฐานทางอำนาจของราชวงศ์ฮาพส์บวร์ค

ในปี ค.ศ. 1286 รูด็อล์ฟก็ทรงยกดัชชีคารินเทียให้กับพ่อตาของอัลเบรชท์ไมน์ฮาร์ด

ทางด้านตะวันตกในปี ค.ศ. 1281 รูด็อล์ฟก็บังคับให้ฟิลิป เคานต์แห่งพาลาไทน์แห่งเบอร์กันดี ให้ยกดินแดนบางส่วนให้แก่พระองค์ และทรงบังคับให้ประชาชนชาวแบร์นส่งส่วยที่ยุติลงตามที่ได้ตกลงกันก่อนหน้านั้น ในปี ค.ศ. 1289 รูด็อล์ฟก็เดินทัพไปบังคับให้ผู้สืบครองต่อจากฟิลิปออตโตที่ 4 แสดงความสวามิภักดิ์

ในปี ค.ศ. 1281 พระอัครมเหสีองค์แรกก็สิ่นพระชนม์ เมื่อวันที่ 5 กุมภาพันธ์ ค.ศ. 1284 รูด็อล์ฟก็เสกสมรสกับอิสซาเบลแห่งเบอร์กันดีธิดาของฮิวจ์ที่ 4 ดยุกแห่งเบอร์กันดี

รูด็อล์ฟไม่ทรงประสบความสำเร็จกับการรักษาความสงบภายในเยอรมนี พระองค์ทรงออกพระราชประกาศเพื่อการรักษาความสงบสุขในบาวาเรีย, ฟรังโคเนีย และ ชวาเบีย และหลังจากนั้นเยอรมันทั้งหมด แต่ก็ไม่มีพระราชอำนาจ พระราชทรัพย์ หรือพระราชประสงค์ในการดำเนินนโยบายเท่าใดนัก นอกจากการออกเดินทางไปทำการปราบปรามในทูริงเกียครั้งหนึ่ง

ในปี ค.ศ. 1291 รูด็อล์ฟพยายามหาวิธีให้พระราชโอรสอัลเบรชท์ได้รับเลือกเป็นกษัตริย์เยอรมัน แต่เจ้าผู้ครองรัฐต่าง ๆ ทรงปฏิเสธว่าไม่สามารถจะสนับสนุนการมีพระมหากษัตริย์สองพระองค์ได้ แต่เหตุผลที่แท้จริงอาจจะมาจากการเกรงอำนาจของฮับส์บวร์กที่เพิ่มมากขึ้นทุกขณะ