ความระส่ำระสายในเยอรมนีหลังจการล่มสลายของราชวงศ์โฮเฮนชเตาเฟินเปิดโอกาสให้รูด็อล์ฟเพิ่มดินแดนเข้ามาในปกครอง พระชายาของพระองค์ก็ทรงเป็นทายาทของพระปิตุลาฮาร์ทมันน์ที่ 4 เคานท์แห่งคีบวร์ก เมื่อฮาร์ทมันน์สียชีวิตโดยไม่มีทายาทในปี ค.ศ. 1264 รูด็อล์ฟก็ยึดเคาน์ตีคีบูร์ก ความขัดแย้งที่รูด็อล์ฟมีชัยกับบิชอปแห่งชตรัสส์บูร์กและบาเซิลก็ยิ่งเป็นการเพิ่มดินแดนและความมั่งคั่งให้แก่รูด็อล์ฟด้วย รวมทั้งชื่อเสียง หลังจากนั้นรูด็อล์ฟก็ยังได้ดินแดนเพิ่มเติมจากบิดาในบริเวณที่อยู่ในสวิตเซอร์แลนด์และอาลซัสปัจจุบัน

ความมีอิทธิพลและความมั่งคั่งที่ได้มาทำให้รูด็อล์ฟกลายเป็นเจ้าผู้ครองรัฐผู้มีอำนาจมากที่สุดในเยอรมนีตะวันตกเฉียงใต้ ในบริเวณที่ดัชชีชวาเบียสลายตัวลง ซึ่งทำให้บรรดารัฐบริวารมีอิสระขึ้นมา ในฤดูใบไม้ร่วงปี ค.ศ. 1273 เมื่อเจ้าผู้ครองรัฐต่าง ๆ มาประชุมกันที่แฟรงก์เฟิร์ตเพื่อจะเลือกตั้งพระมหากษัตริย์องค์ใหม่หลังจากการเสด็จสวรรคตของริชาร์ด เอิร์ลแห่งคอร์นวอลล์ รูด็อล์ฟก็ได้รับเลือกให้เป็นกษัตริย์พระองค์ใหม่เมื่อวันที่ 29 กันยายน ค.ศ. 1273 เมื่อมีพระชนมายุได้ 55 พรรษา การที่ได้รับเลือกเป็นผลมาจากการสนับสนุนของพระเชษฐาเขยฟรีดริชที่ 3 เบอร์เกรฟแห่งเนิร์นแบร์กและโฮเฮนโซลเลิร์น การสนับสนุนของอัลเบรชท์ที่ 2 ดยุกแห่งแซกโซนี (วิตเต็นแบร์ก) และของลุดวิกที่ 2 ดยุกแห่งบาวาเรีย เป็นเสียงที่ได้มาจากการซื้อโดยการหมั้นดยุกทั้งสองคนกับลูกสาวของตนเอง การสนับสนุนนี้ทำให้สมเด็จพระเจ้าออตโตคาร์ที่ 2 แห่งโบฮีเมียผู้เป็นพระนัดดาของฟิลิปแห่งชวาเบีย ผู้เป็นอีกผู้หนึ่งที่หาเสียงในการเลือกตั้งเป็นพระมหากษัตริย์แทบจะเป็นผู้หาเสียงผู้เดียวโดยไม่มีผู้สนับสนุน