ในปี ค.ศ. 1691 เมื่อเป็นพระราชวังที่ใหญ่ที่สุดและซับซ้อนที่สุดในยุโรป—และสิ่งก่อสร้างเล็กๆ น้อยๆ—ที่เมื่อเกิดไฟไหม้ก็เป็นการทำลายโครงสร้างส่วนใหญ่ของสิ่งก่อสร้างเดิม เมื่อวันที่ 4 มกราคม ค.ศ. 1698 ก็เกิดไฟไหม้ขึ้นอีกครั้งๆ นี้ทำลายที่อยู่อาศัยและที่ทำการของรัฐบาลส่วนใหญ่ แม้ว่าจะมีการสร้างใหม่แต่ก็เป็นไปอย่างจำกัดเพราะขาดงบประมาณ ในครึ่งหลังของคริสต์ศตวรรษที่ 18 บริเวณส่วนใหญ่ก็ให้เช่าเพื่อสร้างทาวน์เฮาส์

ระหว่างที่เกิดไฟไหม้พระราชวังไวต์ฮอลก็สูญเสียงานศิลปะชั้นเอกไปมากมายที่อาจจะรวมทั้งงานประติมากรรม “Cupid” มีเกลันเจโล ที่ซื้อจากงานสะสมของตระกูลกอนซากา ในคริสต์ศตวรรษที่ 17