ตระกูลสเปนเซอร์ (Spencer family) เป็นหนึ่งในตระกูลขุนนางและชนชั้นสูงเก่าแก่ของเกาะอังกฤษ สมาชิกในตระกูลนี้ได้รับแต่งตั้งเป็นอัศวิน, บารอเนต และขุนนางจำนวนมาก โดยตำแหน่งขุนนางสืบตระกูลที่ตระกูลนี้ถือครองอยู่ ได้แก่ ดยุกแห่งมาร์ลบะระ, เอิร์ลแห่งซันเดอร์แลนด์, เอิร์ลสเปนเซอร์ และไวเคานต์เชอร์ชิล สมาชิกตระกูลนี้ที่มีชื่อเสียงอย่างที่สุดในคริสต์ศตวรรษที่ 20 ได้แก่ เซอร์ วินสตัน เชอร์ชิล และ ไดอานา เจ้าหญิงแห่งเวลส์เฮนรี สเปนเซอร์ เป็นนายที่ดินเวิร์มเลกตันในมณฑลวาร์วิกเชอร์ และเป็นนายค่าเช่าของบ้านอัลทอร์ปในมณฑลนอร์แทมป์ตันเชอร์ ต่อมา จอร์จ สเปนเซอร์ ผู้เป็นหลาน ได้ค้าขายปศุศัตว์และสินค้าอื่นๆจนร่ำรวย เขาซื้อที่ดินเวิร์มเลกตันในปี 1506 และซื้อบ้านอัลทอร์ปในปี 1508 ที่ในอัลทอร์ปนี้กว้างนับพันไร่และทำให้การเลี้ยงแกะได้ผลดีมาก[1] อย่างไรก็ตามเขายังคงอาศัยอยู่ในบ้านที่เวิร์มเลกตันซึ่งตอนนั้นใหญ่กว่าอัลทอร์ปถึงสี่เท่า[2] จอร์จร่ำรวยจนสามารถไปซื้อหมู่บ้านลิตเติลบริกตันและหมู่บ้านเกรทบริกตันจากทอมัส เกรย์ มาร์ควิสแห่งดอร์เซต[1] และตัดสินใจย้ายมาอยู่บ้านอัลทอร์ป ต่อมาในปี ค.ศ. 1519 จอร์จ สเปนเซอร์ ก็ได้รับตำแหน่งอัศวินจากพระเจ้าเฮนรีที่ 8