เมื่อพระองค์ทรงเถลิงราชสมบัติในตอนแรกนั้น พระมารดาของพระองค์ทรงทูลกับพระองค์ให้ทรงรีบอภิเษกสมรส เพื่อที่จะได้มีองค์รัชทายาท โดยพระมารดาของพระองค์ทรงเลือกเจ้าสาวให้ โดยอาร์ชดัชเชสโซฟีทรงเลือกจัดเตรียมไว้ให้แล้ว คือพระนัดดาของพระองค์ ดัชเชสเฮเลนแห่งบาวาเรีย พระธิดาองค์โตในเจ้าหญิงลูโดวิก้า ผู้เป็นพระขนิษฐาของอาร์ชดัชเชสโซฟี โดยดัชเชสเฮเลนนั้นทรงพระชนมายุอ่อนกว่าจักรพรรดิเพียง 4 ปี แต่พระองค์ไม่โปรดที่จะอภิเษกสมรสกับดัชเชสเฮเลน พระองค์กลับทรงเลือกที่จะอภิเษกสมรสกับพระขนิษฐาของดัชเชสเฮเลนแทนคือ ดัชเชสเอลีซาเบ็ท หลังจากได้ทรงพบรู้จักและวิสาสะกันเพียงไม่กี่วัน ท่ามกลางการคัดค้านของพระราชวงศ์ เพราะทรงเห็นว่าดัชเชสเฮเลนเหมาะสมที่สุดที่จะเป็นองค์พระจักรพรรดินีและพระมเหสีของพระองค์ แต่พระองค์ทรงไม่สนพระทัยต่อคำพ้องของพระราชวงศ์รวมทั้งพระมารดา อย่างไรก็ตามพระราชวงศ์บาวาเรียทรงยอมจัดพระราชพิธีหมั้นให้ เพราะทรงเห็นว่าเป็นพระราชประสงค์ขององค์พระประมุขแห่งจักรวรรดิออสเตรีย

จักรพรรดิฟรันทซ์ โยเซ็ฟและดัชเชสเอลีซาเบ็ททรงเข้าพิธีอภิเษกสมรสเมื่อวันที่24 เมษายน พ.ศ. 2397 ณ มหาวิหารเซนต์ สตีเฟน กรุงเวียนนา ชีวิตสมรสของทั้งสองพระองค์ไม่ค่อยราบรื่นเท่าไหร่นัก เพราะฝ่ายหญิงถูกกีดกันโดยอาร์ชดัชเชสบางพระองค์ รวมทั้งอาร์ชดัชเชสโซฟี ผู้เป็นพระสัสสุต่างๆนาๆ เพื่อลดความสำคัญของพระองค์ไป แต่ด้วยความที่พระองค์ทรงเป็นองค์พระจักรพรรดินี พระชายาแห่งองค์ประมุขแห่งจักรวรรดิออสเตรีย พระองค์ทรงได้รับความช่วยเหลือและความมีน้ำพระทัยจากอาร์ชดยุกและอาร์ชดัชเชสบางพระองค์ รวมทั้งพระสวามีของพระองค์ด้วย

จักรพรรดิฟรันทซ์ โยเซ็ฟ และจักรพรรดินีเอลีซาเบ็ทมีพระราชธิดา 3 พระองค์ และพระราชโอรสเพียง 1 พระองค์ รวมพระราชบุตรทั้งหมด 4 พระองค์ ดังนี้

• อาร์ชดัชเชส โซฟี เฟรเดอริคเก้ โดโรเธีย มาเรีย โยเซฟ่า แห่งออสเตรีย ประสูติเมื่อวันที่ 5 มีนาคม พ.ศ. 2398 สิ้นพระชนม์ตั้งแต่ยังทรงเป็นทารกเมื่อวันที่ 29 พฤษภาคม พ.ศ. 2400 สิริพระชันษาได้เพียง 2 ชันษา
• อาร์ชดัชเชส กิเซล่า หลุยส์ มารี แห่งออสเตรีย ประสูติเมื่อวันที่ 12 กรกฎาคม พ.ศ. 2399 สิ้นพระชนม์เมื่อวันที่ 27 กรกฎาคม พ.ศ. 2475 ทรงอภิเษกสมรสกับเจ้าชายลีโอโพลด์แห่งบาวาเรีย มีพระโอรสและพระธิดารวม 4 พระองค์
• อาร์ชดยุก รูดอล์ฟ ฟรันทซ์ คาร์ล โยเซ็ฟ มกุฎราชกุมารแห่งออสเตรียและฮังการี ประสูติเมื่อวันที่ 21 สิงหาคม พ.ศ. 2401 ทรงอภิเษกสมรสกับ เจ้าหญิงสเตฟานี่แห่งเบลเยียม มีพระธิดา 1 พระองค์ สิ้นพระชนม์จากการปลงพระชนม์ชีพตัวเองด้วยพระแสงปืนเมื่อวันที่ 31 มกราคม พ.ศ. 2432
• อาร์ชดัชเชส มารี-วาเลอรี มาธิลด์ อามีลี่ แห่งออสเตรีย ประสูติเมื่อวันที่ 22 เมษายน พ.ศ. 2411 สิ้นพระชนม์เมื่อวันที่ 6 กันยายน พ.ศ. 2467 ทรงอภิเษกสมรสกับ อาร์ชดยุกฟรันทซ์ ซัลเวเตอร์แห่งออสเตรีย เจ้าชายแห่งทัสคานี มีพระราชบุตร 10 พระองค์