หลังจากครุชชอฟได้ไล่สมาชิกเก่ายุคสตาลินออกเช่น มาเลนคอฟ กับ โมโลตอฟริ่ช เป็นต้น โวโรชีลอฟ ก็เริ่มวางมือจากการเมือง วันที่ 7 พฤษภาคม พ.ศ. 2503 คณะผู้บริหารสูงสุดแห่งสภาโซเวียตสูงสุดได้รับการร้องขอ โวโรชีลอฟ ในการเกษียณอายุและเขายังเป็นโปลิตบูโรจนถึง 16 กรกฎาคม พ.ศ. 2503

หลังการสิ้นอำนาจของครุชชอฟ โวโรชีลอฟ อีกครั้งได้รับการเลือกตั้งให้เป็นคณะกรรมการกลางในปี พ.ศ. 2509 โวโรชีลอฟ ได้รับเหรียญรางวัลวีรบุรุษแห่งสหภาพโซเวียตที่สองในปี พ.ศ. 2511 เขาเสียชีวิตในปี พ.ศ. 2512 ในมอสโกและเถ้าถ่านของเขาถูกฝังอยู่ในกำแพงเครมลิน