อาร์ชดยุกฟรันซ์ แฟร์ดีนันท์ประสูติเมื่อวันที่ 18 ธันวาคม ค.ศ. 1863 ที่เมืองกราซ จักรวรรดิออสเตรีย เป็นพระโอรสองค์ใหญ่ในอาร์ชดยุกคาร์ล ลูทวิชแห่งออสเตรีย (พระโอรสในอาร์ชดยุกฟรันซ์ คาร์ล และทรงพระอนุชาในจักรพรรดิฟรันซ์ โยเซฟ) และพระชายาองค์ที่ 2 ของพระองค์ เจ้าหญิงมาเรีย แอนนันซิเอตาแห่งซิซิลี เมื่อพระองค์ทรงเจริญพระชันษา 12 ปี ดยุกฟรังเซสโกที่ 5 แห่งโมเดนา พระปิตุลาของพระองค์ทรงสิ้นพระชนม์กะทันหัน ทำให้พระองค์ทรงได้รับสืบพระยศเป็นอาร์ชดยุกแห่งออสเตรีย-เอ็สเทอ และดยุกแห่งโมเดนา

ตั้งแต่พระองค์ประสูติ ประชาชน ราชนิกุลชั้นสูงหรือบุคคลคณะต่างๆ ไม่เคยคาดคิดเลยว่าพระองค์จะทรงเป็นองค์รัชทายาทแห่งราชบัลลังก์อิมพีเรียลออสเตรีย-ฮังการี พระองค์ทรงได้รับการศึกษาอย่างเรียบง่าย โดยอาจารย์ของพระองค์นั้นเน้นสอนในทางประวัติศาสตร์และศีลธรรมเป็นส่วนใหญ่ โดยอาจารย์ของพระองค์คือนักประวัติศาสตร์ ออนโน คล๊อป ตั้งแต่ปี ค.ศ. 1876 ถึง 1885 และในปี 1882 พระองค์ได้ทรงเข้าร่วมกองทัพราชนาวี โดยพระองค์ได้ทรงยศทหารเป็นร้อยโท

เมื่อทรงพระเยาว์นั้น พระองค์ทรงงานอดิเรกเป็นประจำ นั่นคือล่าสัตว์และท่องเที่ยว โดยพระองค์ทรงสามารถล่ากวางได้มากกว่า 5,000 ตัว และพระองค์ทรงชอบเสด็จประพาสไปยังประเทศต่างๆด้วย โดยเมื่อปีค.ศ. 1882 พระองค์เสด็จเยือนอิตาลี และอีกสองปีต่อมาก็เสด็จประพาสอียิปต์ ปาเลสไตน์ ซีเรีย และออตโตมัน และปี 1889 เสด็จเยือนเยอรมนี

เมื่อปี 1889 ชีวิตของพระองค์ถูกเปลี่ยนดังละคร เมื่อพระญาติของพระองค์ อาร์ชดยุกรูดอล์ฟ มกุฎราชกุมารแห่งออสเตรีย-ฮังการี ซึ่งเป็นพระราชโอรสในจักรพรรดิฟรันซ์ โยเซฟ ทรงสิ้นพระชนม์กะทันหันจากการฆ่าตัวตายที่ คฤหาสน์ล่าสัตว์ที่มาเยอร์ลิง รัฐนีเดอร์เอิสเทอร์ไรช์ จักรวรรดิออสเตรีย ทำให้อาร์ชดยุกคาร์ล ลุดวิจ พระบิดาของพระองค์เป็นรัชทายาทแห่งออสเตรีย-ฮังการี และตัวอาร์ชดยุกฟรันซ์ แฟรดีนันด์ กลายเป็นรัชทายาทลำดับ 2 ต่อมาพระบิดาของพระองค์ทรงสละสิทธิ์ในการสืบราชสมบัติ ทำให้อาร์ชดยุกฟรันซ์ แฟร์ดีนันท์ทรงเป็นองค์รัชทายาทลำดับที่ 1 แต่ทรงเป็นองค์รัชทายาททางพฤตินัย ไม่มีการสถาปนาอย่างเป็นทางการ