อลิซาเบธ โอลเซน เกิดเมื่อวันที่ 16 กุมภาพันธ์ 1989 ที่เมืองเชอร์แมน โอคส์ รัฐแคลิฟอร์เนีย​ เธอเป็นบุตรสาวของ จาร์เน็ตต์ ที่มีอาชีพเป็นผู้จัดการส่วนตัวและเดวิด โอลเซน นักพัฒนาอสังหาริมทรัพย์และนายธนาคารสินเชื่อที่อยู่อาศัยที่มีเชื้อสายนอร์เวย์​[2][3] อลิซาเบธ โอลเซนเป็นน้องสาวของนักแสดงฝาแฝด แมรี่ - เคท โอลเซน และ แอชลีย์ โอลเซน ซึ่งเคยนักแสดงเด็กในละครโทรทัศน์เรื่อง Full House ทางช่องเอบีซี​ โดยพี่สาวของเธอเคยแสดงในภาพยนตร์หลายเรื่องเช่น ​Winning London -​ คู่แฝดซน ตะลุยลอนดอน​ , ​Our Lips Are Sealed -​ คู่แฝดซน ป่วนออสเตรเลีย​ , ​New York Minute -​ คู่แฝดจี๊ด ป่วนรักในนิวยอร์ก​ พ่อแม่ของพวกเธอหย่าร้างกันในปี 1996

ในช่วงวัยเด็กโอลเซนเคยเข้าเรียนบัลเลต์​และร้องเพลง[4]แม้ว่าเธอจะได้เรียนรู้เกี่ยวกับการแสดงในช่วงวัยรุ่น แต่ก่อนหน้านี้ในขณะที่เธออายุเพียง 4 ขวบเธอได้มีโอกาสรับบทบาทเป็นนักแสดงเด็กและได้แสดงบทเล็กๆน้อยๆในภาพยนตร์ที่พี่สาวฝาแฝดทั้ง 2 ของเธอเป็นนักแสดงนำ โดยเธอปรากฏตัวครั้งแรกในภาพยนตร์เรื่อง ​How the West Was Fun -​ แฝดจอมซน พิชิตตะวันตก​ จากนั้นเธอได้แสดงในซีรีส์ ​The Adventures of Mary-Kate & Ashley จากนั้นได้มีประสบการณ์เข้าทดสอบในบทบาทอื่นๆ โดยในวัยเด็กโอลเซนเข้าเรียนที่โรงเรียนแคมป์เบลล์ ฮอลล์ ตั้งแต่ชั้นอนุบาลจนถึงมัธยมปลาย

หลังจบชั้นมัธยมอลิซาเบธ โอลเซนเรียนต่อที่วิทยาลัยศิลปกรรมศาสตร์ทิช (Tisch School of the Arts)​ มหาวิทยาลัยนิวยอร์ก