เอซรา มิลเลอร์เกิดและโตที่ Wyckoff, Bergen County, New Jersey, สหรัฐอเมริกา ครอบครัวของเขามีสมาชิก 5 คน ได้แก่ คุณพ่อ Robert S. Miller ทำงานเกี่ยวกับสื่อสิ่งพิมพ์ ,คุณแม่ Marta Miller เป็นนักเต้นแนว Modern และพี่สาวสองคนคือ Saiya Miller และ Caitlin Miller โดยที่คุณแม่เป็นชาวเยอรมันเชื้อสายดัตช์ และคุณพ่อเป็นชาวยิว เอซรานิยามตนเองว่าเป็นชาวยิวตามคุณพ่อ

ตอนอายุ 6 ขวบเขาได้เข้าเรียนโอเปร่า เขาสามารถร้องเพลงได้ถึงสองโทนเสียง และไปได้สวยกับการร้องโอเปร่าจนได้ร้องกับวง Metropolitan Opera ในนิวยอร์ก แต่ต่อมาเมื่ออายุ 11 เสียงแตกหนุ่มจึงตัดสินใจออกจากวง

เขาเป็นแฟนพันธ์ุแท้ของแฮรี่ พอตตเตอร์ เขาเริ่มอ่าน แฮรี่ พอตตเตอร์ ตอนอายุ 7 ขวบ นอกจากจะอ่านหนังสือ Harry Potter ครบทุกเล่มแล้ว เอซรายังซื้อ Audio book มาฟังเป็นร้อยๆรอบเลยทีเดียว

เขาได้เข้าเรียน Rockland Country Day School และ The Hudson School ต่อมาเมื่ออายุ 16 ปี ได้ดรอปเรียนหลังจากการปล่อยหนังเรื่องแรกของเขา Afterschool เพราะว่าอยากที่จะทุ่มเทให้กับการแสดงอย่างเต็มที่[6]