หอคอยแห่งลอนดอนก่อตั้งโดยพระเจ้าวิลเลียมที่ 1 แห่งอังกฤษในปี ค.ศ. 1078 เมื่อมีพระราชโองการให้สร้างหอขาวภายในกำแพงเมืองด้านตะวันออกเฉียงใต้บนฝั่งแม่น้ำเทมส์[1] การสร้างหอเป็นทั้งการป้องกันการโจมตีของชาวเมืองที่ต้อต้านชาวนอร์มันและการป้องกันลอนดอนจากการรุกรานของข้าศึกจากภายนอก พระเจ้าวิลเลียมทรงสั่งให้ใช้หินจากแคนในฝรั่งเศสสร้างและทรงแต่งตั้งกันดัลฟบาทหลวงแห่งรอเชสเตอร์เป็นสถาปนิก

ในคริสต์ศตวรรษที่ 12 พระเจ้าริชาร์ดใจสิงห์ ทรงสร้างกำแพงรอบหอขาวและเริ่มการขุดคูรอบปราสาทโดยใช้น้ำจากแม่น้ำเทมส์แต่ไม่สำเร็จจนกระทั่งในรัชสมัยของพระเจ้าเฮนรีที่ 3 ในคริสต์ศตวรรษที่ 13 โดยทรงจ้างสถาปนิกชาวดัตช์ผู้เชื่ยวชาญในการขุดคู นอกจากนั้นก็ยังทรงเสริมสร้างกำแพงให้แข็งแรงขึ้นและทรงทำให้หอคอยเป็นที่ประทับสำคัญโดยทรงสร้างพระราชวังแบบที่อยู่อาศัย (palatial buildings) ภายในกำแพงหอคอย การเสริมสร้างเสร็จสิ้นในระหว่างปี ค.ศ. 1275 ถึงปี ค.ศ. 1285 โดยพระเจ้าเอ็ดเวิร์ดที่ 1 ผู้ทรงสร้างกำแพงรอบนอกและสร้างกำแพงรอบในเสร็จ ทำให้เป็นกำแพงสองชั้น และทรงถมคูเดิมและขุดคูใหม่รอบกำแพงรอบนอก หอคอยแห่งลอนดอนใช้เป็นพระราชฐานมาจนถึงพระเจ้าชาร์ลส์ที่ 1 เมื่อโอลิเวอร์ ครอมเวลล์สั่งให้รื้อส่วนที่เป็นพระราชวังทิ้ง