โคซีกินเกิดในเซนต์ปีเตอร์สเบิร์กในปี พ.ศ. 2447 เป็นบตรของครอบครัวชนชั้นแรงงาน เขาถูกเกณฑ์เข้ากองทัพแดงในช่วงสงครามกลางเมืองรัสเซียและหลังปี พ.ศ. 2464 เขากลับไปทำงานเป็นผู้จัดการโรงงานอุตสาหกรรมในไซบีเรีย ก่อนกลับเลนินกราดในช่วง พ.ศ. 2473 และได้ขึ้นมาเป็นรัฐมนตรีว่าการอุตสาหกรรม

ในช่วงสงครามรักชาติ โคซีกิน เป็นสมาชิกคนหนึ่งของคณะกรรมการป้องกันรัฐและได้รับมอบหมายในการย้ายโรงงานอุตสาหกรรมโซเวียตออกก่อนกองทัพเยอรมันจะเข้ายึด ต่อมาได้ทำหน้าที่เป็นรัฐมนตรีว่าการกระทรวงการคลังในยุคโจเซฟ สตาลิน ก่อนที่จะถูกลดตำแหน่งและไล่ออกจากโปลิตบูโรในปี พ.ศ. 2496

หลังจากการตายของสตาลินในปี พ.ศ. 2496 นีกีตา ครุชชอฟกลายเป็นผู้นำคนใหม่ ที่ 20 มีนาคม พ.ศ. 2502 โคชิกิน ได้รับการแต่งตั้งให้ดำรงตำแหน่งประธานคณะกรรมการวางแผนของรัฐ ต่อด้วยการเป็นรองประธานสภารัฐมนตรีแห่งสหภาพโซเวียต

ในเดือนตุลาคมปี พ.ศ. 2507 คณะกรรมาธิการเพื่อความมั่นคงแห่งรัฐ (Committee for State Security หรือ KGB) นำโดยเบรจเนฟ และ โคซีกิน ได้เข้าทำรัฐประหารยึดอำนาจจากครุสชอฟ โดยครุสชอฟถูกบีบให้ลาออกจากตำแหน่ง โคซีกินได้ขึ้นมาเป็นประธานสภารัฐมนตรีแห่งสหภาพโซเวียต โคชิกินเป็นหนึ่งในสองคนที่อำนาจในยุคผู้นำร่วม เบรจเนฟ-โคชิกิน