ฮิลตันเกิดที่เมืองแซนแอนโทนีโอ รัฐนิวเม็กซิโก บิดาของเขาคือ ออกัสตัส ฮัลเวอร์เซน ฮิลตัน ชาวนอร์เวย์ มารดาของเขาเป็นชาวอเมริกันเชื้อสายเยอรมนี เขามีพี่น้องทั้งหมด 8 คน

เขาเริ่มเข้าศึกษาครั้งแรกที่วิทยาลัยกอสส์ (ปัจจุบันคือวิทยาลัยทหารนิวเม็กซิโก) และเซ็นต์มิเชล คอลเล็จ (ปัจจุบันคือวิทยาลัยซานตาเฟ) และโรงเรียนเหมืองแร่นิวเม็กซิโก (ปัจจุบันคือสถาบันเทคโนโลยีและเหมืองแร่นิวเม็กซิโก) จากนั้นเขาได้เข้าร่วมในกองทัพบกสหรัฐเข้าร่วมรบในสงครามโลกครั้งที่หนึ่ง ในขณะที่เขาประจำการนั้น บิดาของเขาก็เสียชีวิตจากอุบัติเหตุทางรถยนต์