ทอมเกิดที่ คิงส์ตันอะพอนเทมส์ ลอนดอน[4] เป็นลูกชายของช่างภาพนิโคลา เอลิซาเบท (ฟรอสต์) กับ ดอมินิก ฮอลแลนด์ ซึ่งเป็นนักแสดงตลกและนักเขียน ทอมมีพี่น้องสามคน เป็นฝาแฝดคือแซมและแฮร์รี อายุน้อยกว่าทอมสามปี และยังได้ปรากฏตัวในหนังเรื่อง ไดอาน่า เรื่องรักที่โลกไม่รู้ และน้องคนสุดท้องคือแพทริก อายุน้อยกว่าทอมแปดปี[5][6] และปู่ย่าตายายของเขาเกิดที่เมืองไอล์ออฟแมน และ ไอร์แลนด์[7][8]

ทอมจบการศึกษาที่ Donhead เป็นโรงเรียนเตรียมอุดมศึกษาโรมันคาทอลิคใน วิมเบิลดัน ทางใต้ตะวันตกลอนดอน[9] ตามด้วย วิทยาลัยวิมเบิลดัน และเป็นอาสาสมัครที่โรงเรียนเจซูนิกายโรมันคาทอลิก (ขณะที่ยังอยู่ในวิมเบิลดัน) จนถึงธันวาคมปี 2555 ทอมได้พูดไว้ว่าเขาเคยถูกรังแกตอนอยู่ในโรงเรียนสอนเต้นด้วย[10] และต่อจากนั้นเขาก็เข้าเรียนที่ โรงเรียนศิลปะการแสดงและเทคโนโลยี BRIT[11]