สี่สิบปีหลังจากการเสียชีวิตของ ฟูจิวาระ โนะ มิจินางะ บุตรชายของเขาไม่สามารถควบคุมอำนาจไว้ได้ รวมทั้งฟูจิวาระ โนะ โยรินางะ ซึ่งเป็นจักรพรรดิองค์แรกที่ไม่ได้สืบทอดมาจากตระกูลฟูจิวาระนับจากจักรพรรดิยูดะ ได้ขึ้นครองราชย์ อำนาจของตระกูลฟูจิวาระอ่อนแอลงอย่างมาก ฟูจิวาระ โนะ โยรินางะได้ร่วมมือกันขุนนางหลาย ๆ ฝ่าย เมื่อพยายามกำจัดตระกูลฟูจิวาระให้หมดไป จากราชสำนัก และตำแหน่งผู้สำเร็จราชการอีกด้วย จนในที่สุดอำนาจของตระกูลฟูจิวาระได้หมดไป และได้มีตระกูลนักรบใหม่เข้ามาแทนที่คือ ตระกูลไทระ ส่งผลให้ตระกูลฟูจิวาระที่เรื่องอำนาจมากว่า 500 ปี ล่มสลายลงในเวลาเพียง 40 ปี หลังจากการล่มสลายของอำนาจพวกเขาได้หันมาใส่ใจด้านศิลปะการแต่งกลอนแทนการเมือง