โทโมรี เข้าร่วมทีมเยาวชนของเชลซีในรุ่นอายุไม่เกิน 8 ขวบ และได้เล่นให้กับสโมสรเรื่อยมา[3] เขาเป็นส่วนหนึ่งของทีมเยาวชนเชลซีที่คว้าแชมป์ยูฟ่ายูธลีกและเอฟเอยูธคัพในปี 2015 และ 2016[3] ต่อมาในวันที่ 15 พฤษภาคม ค.ศ. 2016 เขาได้ลงเล่นเป็นสำรองให้กับทีมชุดใหญ่เป็นครั้งแรก ในนัดปิดฤดูกาล 2015–16 ซึ่งเป็นนัดที่เชลซีเปิดบ้านเสมอกับทีมแชมป์พรีเมียร์ลีกอย่างเลสเตอร์ซิตี 1–1[4] ต่อมาในวันที่ 1 สิงหาคม ค.ศ. 2016 โทโมรี ขยายสัญญา 4 ปีกับสโมสร[5]

ในวันที่ 23 มกราคม ค.ศ. 2017 โทโมรี ถูกปล่อยยืมตัวให้กับไบรตันแอนด์โฮฟอัลเบียนในแชมเปียนชิป[6] ต่อมาในวันที่ 31 สิงหาคม ค.ศ. 2017 เขาถูกปล่อยยืมตัวให้กับฮัลล์ซิตีในแชมเปียนชิปตลอดทั้งฤดูกาล[7] และในวันที่ 6 สิงหาคม ค.ศ. 2018 เขาก็ได้ย้ายไปเล่นให้กับดาร์บีเคาน์ตีในแชมเปียนชิป โดยเป็นการยืมตัวตลอดทั้งฤดูกาล[8] ช่วงที่โทโมรีเล่นให้กับดาร์บี เขาได้รับรางวัลผู้เล่นยอดเยี่ยมแห่งปีของสโมสร[9]

หลังจากการยืมตัวอันยาวนาน โทโมรีกลับสู่เชลซี และสวมเสื้อหมายเลข 29[10] และในวันที่ 14 กันยายน ค.ศ. 2019 โทโมรีได้ทำประตูแรกในนามสโมสร ในนัดที่เชลซีบุกไปเอาชนะวูฟส์ 5-2[11]