ภายในคริสต์ศตวรรษที่ 13 พระราชวังเวสต์มินสเตอร์ก็กลายเป็นศูนย์กลางของรัฐบาลของอังกฤษ และเป็นที่ประทับหลักของพระมหากษัตริย์อังกฤษในลอนดอนมาตั้งแต่ ค.ศ. 1049 บริเวณนั้นจึงเป็นที่นิยม—และราคาสูง วอลเตอร์ เดอ เกรย์ (Walter de Grey) อาร์ชบิชอปแห่งยอร์กซื้อที่ดินในบริเวณนั้นไม่นานหลังปี ค.ศ. 1240 และเรียกว่า “ยอร์กเพลซ” (York Place)

พระเจ้าเอ็ดเวิร์ดที่ 1 ประทับที่นี่ในหลายโอกาสขณะที่มีการก่อสร้างที่พระราชวังเวสต์มินสเตอร์ และต้องขยายเพิ่มเติมเพื่อให้เพียงพอกับผู้ติดตามของพระองค์ ยอร์กเพลซได้รับการสร้างใหม่และขยายอย่างใหญ่โตในคริสต์ศตวรรษที่ 15 โดยพระคาร์ดินัลทอมัส โวลซีย์ (Thomas Wolsey) จนมีเพียงแต่วังแลมเบ็ธ (Lambeth Palace) เท่านั้นที่ใหญ่กว่ารวมทั้งพระราชฐานของพระเจ้าแผ่นดินด้วย หลังจากพระเจ้าเฮนรีที่ 8 ปลดคาร์ดินัลโวลซีย์จากอำนาจในปี ค.ศ. 1530 ออกจากตำแหน่งพระองค์ก็ทรงยึดยอร์กเพลซเพื่อใช้แทนพระราชวังเวสต์มินสเตอร์เป็นที่ประทับในลอนดอน พระเจ้าเฮนรีที่ 8 ทรงสำรวจอสังหาริมทรัพย์ที่ยึดมากับคู่หมั้นเลดีแอนน์ โบลีน

ต่อมาพระเจ้าเฮนรีที่ 8 ทรงออกแบบยอร์กเพลซใหม่ และทรงขยายและสร้างใหม่ในรัชสมัยของพระองค์ตามแบบพระราชวังริชมอนด์ นอกจากนั้นก็ยังทรงสร้างสนามโบว์ลิงกลางแจ้ง, คอร์ตเทนนิสต้นตำรับ (Real tennis) ในร่ม, เล้าสำหรับตีไก่ และลานในการประลองทวนบนหลังม้า (jousting) ประมาณกันว่าทรงใช้เงินจำนวนกว่า £30,000 (ประมาณ £11 ล้านในปี ค.ศ. 2007)[2] ในคริสต์ทศวรรษ 1540 กว่า 50% ของเงินที่ใช้สร้างวังบริดเวลล์ (Bridewell Palace) ทั้งหมด พระเจ้าเฮนรีที่ 8 ทรงเสกสมรสที่พระราชวังไวต์ฮอลสองครั้งๆ แรกกับแอนน์ โบลีน ในปี ค.ศ. 1533 และครั้งที่สองกับเจน เซมัวร์ ในปี ค.ศ. 1536 และเป็นที่เสด็จสวรรคตในเดือนมกราคม ค.ศ. 1547 ใน ค.ศ. 1611 เป็นที่แสดงละครที่เขียนโดยวิลเลียม เชกสเปียร์ “The Tempest” เป็นครั้งแรก

พระเจ้าเจมส์ที่ 1ทรงเปลี่ยนแปลงพระราชวังไวต์ฮอลครั้งใหญ่โดยการมีพระราชโองการให้สร้างตึกเลี้ยงรับรอง โดยอินิโก โจนส์ ในปี ค.ศ. 1622 เพื่อใช้แทนตึกเลี้ยงรับรองอื่นๆ ที่สร้างมาตั้งแต่รัชสมัยของพระราชินีนาถเอลิซาเบธที่ 1 การตกแต่งเสร็จในปี ค.ศ. 1634 โดยมีเพดานที่เขียนโดยปีเตอร์ พอล รูเบนส์ที่จ้างโดยพระเจ้าชาลส์ที่ 1 (ผู้ทรงถูกปลงพระชนม์หน้าพระราชวังใน ค.ศ. 1649) ภายในปี ค.ศ. 1650 พระราชวังไวต์ฮอลก็กลายเป็นสิ่งก่อสร้างหมู่ที่ไม่ใช่สิ่งก่อสร้างทางศาสนาใหญ่ที่สุดในอังกฤษโดยมีห้องทั้งหมดกว่ากว่า 1,500 ห้อง ผังของพระราชวังซับซ้อนมากและเป็นสถาปัตยกรรมจากหลายสมัยจึงทำให้ดูเหมือนเป็นเมืองเล็ก ๆ มากกว่าที่จะเป็นสิ่งก่อสร้างเดียว

พระเจ้าชาลส์ที่ 2 ทรงจ้างให้มีการเปลี่ยนแปลงบ้างแต่ไม่มากนักโดยคริสโตเฟอร์ เร็น รวมทั้งชาเปลใหม่ที่สร้างเสร็จในปี ค.ศ. 1687 สร้างที่ประทับของพระราชินีใหม่ (ค.ศ. 1688?) และที่ประทับส่วนพระองค์ของพระราชินี (ค.ศ. 1689)