ในปี ค.ศ. 1563 สมเด็จพระราชินีนาถเอลิซาเบธที่ 1 ได้ยกปราสาทเคนิลเวิร์ธให้แก่โรเบิร์ต ดัดลีย์ เอิร์ลแห่งเลสเตอร์ซึ่งเป็นคนโปรดของพระองค์ เชื่อกันว่าพระราชินีสาวต้องการสมรสกับดัดลีย์ แต่ชื่อเสียงของเขาด่างพร้อยจากข่าวลือเรื่องการเสียชีวิตอย่างน่าสงสัยของภรรยา ดัดลีย์ทุ่มเงินก้อนโตให้กับปราสาท โดยได้เปลี่ยนปราสาทเป็นพระราชวังทิวดอร์อันทันสมัย

สมเด็จพระราชินีนาถเอลิซาเบธที่ 1 มาเยือนโรเบิร์ต ดัดลีย์ที่ปราสาทเคนิลเวิร์ธในปี ค.ศ. 1566 และอีกครั้งในปี ค.ศ. 1568 ทว่าในการมาพักครั้งสุดท้ายของพระองค์ในปี ค.ศ. 1575 มีผู้ติดตามจำนวนหลายร้อยได้สร้างประวัติกาล ในเดือนกรกฎาคมมีการใช้เงินอย่างไม่อั้นไปกับการมาเยือนเป็นเวลา 19 วัน ว่ากันว่าดัดลีย์ต้องใช้เงินมากถึง 1,000 ปอนด์ต่อวันจนเขาเกือบล้มละลาย

เอิร์ลแห่งเลสเตอร์ถึงแก่กรรมโดยไร้ทายาท ปราสาทจึงกลับไปเป็นของราชบัลลังก์และพระเจ้าเจมส์ที่ 1 ได้พระราชทานให้แก่เจ้าชายชาร์ลส์ในปี ค.ศ. 1612 ในปี ค.ศ. 1626 พระองค์ได้ส่งต่อปราสาทให้อ็องเรียต มารีเป็นส่วนหนึ่งในมรดกสำหรับพระมเหสีม่าย