แอฟเฟล็ก เกิดในเบอร์เคเลย์ รัฐแคลิฟอร์เนีย เป็นบุตรชายของคริสทีน แอน "คริส" (สกุลเดิม โบลดต์) ลูกจ้างโรงเรียนเขตและครู กับทิโมธี แอฟเฟล็ก ผู้ให้คำแนะนำด้านยา, นักสังคมสงเคราะห์, ภารโรง, ช่างซ่อมรถ, บาร์เทนเดอร์ และอดีตนักแสดงที่โรงละครคอมปานีออฟบอสตัน[1][2] แม่ของแอฟเฟล็ก เข้าศึกษาที่มหาวิทยาลัยฮาร์วาร์ด และสอนที่โรงเรียนรัฐบาลเคมบริดจ์ เขามีน้องชายเป็นนักแสดงเช่นกันชื่อ เคซีย์ แอฟเฟล็ก เขามีเชื้อสายไอร์แลนด์และสกอตแลนด์ ครอบครัวเขาย้ายมาเคมบริดจ์ รัฐแมสซาชูเซตส์ เมื่อเขาอายุยังน้อย พ่อแม่เขาหย่าร้างกันในปี 1984 พออายุได้ 8 ปี แอฟเฟล็กได้พบกับแม็ตต์ เดม่อน ที่อายุ 10 ขวบ เพื่อนที่อยู่ห่างกันไป 2 บล็อก ซึ่งทั้งคู่ต่อมาได้เข้าเรียนที่ Cambridge Rindge and Latin School ด้วยกันถึงแม้ว่าพวกเขาจะอายุต่างกัน แอฟเฟล็กเข้าเรียนต่อที่วิทยาลัยออกซิเดนทอลคอลเลจ ในลอสแอนเจลิส และต่อมหาวิทยาลัยเวอร์มอนต์