หอเอลิซาเบธมีความสูงทั้งหมด 96.3 เมตร โดยในช่วง 61 เมตรแรก เป็นอาคารก่อด้วยอิฐ บุด้วยหิน ส่วนที่สูงจากนั้นเป็นยอดแหลมทำด้วยเหล็กหล่อ ตัวหอตั้งอยู่บนฐานกว้าง 15 เมตร ยาว 15 เมตร หนา 3 เมตร อยู่ใต้ดินลึก 7 เมตร ตัวหอทั้งหมดหนักโดยประมาณ 8,667 ตัน หน้าปัดนาฬิกาทั้งสี่ด้านอยู่สูงจากพื้น 55 เมตร

เดิมทีหอเอลิซาเบธเอนไปทางทิศตะวันตกเฉียงเหนือประมาณ 220 มิลลิเมตร[7] แต่ปัจจุบันหอเอลิซาเบธเอนมากขึ้นเนื่องจากการขุดอุโมงค์รถไฟฟ้าใต้ดินใกล้ย่านเวสต์มินสเตอร์[8] โดยสังเกตได้ว่าเอียงปีหนึ่งประมาณ 0.9 มิลลิเมตร จนเห็นได้ชัดเจน[9]