ปูตินเริ่มการทำงานในหน่วยเคจีบี (KGB) ในปี 1975 เมื่อจบการศึกษา โดยเข้ารับการฝึกฝนเป็นเวลาหนึ่งปีที่ โรงเรียนเคเกเบในออตา เลนินกราด อย่างไรก็ตาม ในรายงานการประเมินผลจากเจ้าหน้าที่ระดับสูงของหน่วยได้ระบุว่าปูตินนั้นมีข้อบกพร่อง ว่าเขานั้นเป็นคนไม่เข้าสังคมและมีสัญชาติญาณต่อภัยอันตรายต่ำ[26] ต่อมาไปทำงานเป็นระยะเวลาสั้นๆที่กรมหลักที่สองแห่งคณะกรรมการความมั่นคงแห่งรัฐ (หน่วยราชการลับฝ่ายโต้ตอบ) ก่อนที่ต่อมาจะย้ายไปยังกรมหลักที่หนึ่งฯ ซึ่งเขามีหน้าที่ที่จะต้องเฝ้าจับตามองชาวต่างประเทศและเจ้าหน้าที่กงสุลในเลนินกราด[27][28]

ระหว่างปี 1985 ถึง 1990 ปูตินได้เป็นเจ้าหน้าที่ KGB ที่ประจำการในเดรสเดิน เยอรมนีตะวันออก ในช่วงนั้น ปูตินได้ถูกมอบหมายให้สังกัดกรม S: หน่วยข่าวกรองและราชการลับสิ่งผิดกฎหมาย และเพื่อปกปิดตัวตนของเขา เบื้องบนจึงได้ระบุให้เขามีอาชีพเป็นล่าม หนึ่งในงานของปูตินคือการทำงานร่วมกับกระทรวงความมั่นคงแห่งรัฐของเยอรมนีตะวันออก ในการติดตามและสรรหาชาวต่างประเทศในเดรสเดินเพื่อรับเข้าเป็นบุคลากร คนที่เขาหาได้โดยส่วนมากเป็นคนที่เรียนอยู่ที่มหาวิทยาลัยเทคนิคแห่งเดรสเดิน จุดประสงค์การสรรหาคนก็เพื่อส่งคนเหล่านี้ไปเป็นสายลับในสหรัฐอเมริกา จากการที่เขาใช้ชีวิตอยู่ในเยอรมนีถึง 15 ปีนี้เองทำให้ปูตินสามารถพูดภาษาเยอรมันได้อย่างคล่องแคล่ว

เมื่อกำแพงเบอร์ลินพังทลายลง มีนักสิทธิมนุษยชนเดินขบวนประท้วงมายังอาคารของ KGB ในเบอร์ลิน ปูตินได้เผาทำลายเอกสารของ KGB และยื่นขอคำสั่งเร่งด่วนไปยังผู้บังคับบัญชาในกรุงมอสโก ซึ่งเขาก็ได้กล่าวถึงเหตุการณ์ในตอนนั้นว่า "มอสโกได้แต่เงียบ"[29] เมื่อรัฐบาลเยอรมนีตะวันออกล่มสลาย ปูตินก็ถูกเรียกตัวกลับไปอยู่ที่เลนินกราดในสหภาพโซเวียต ที่ซึ่งในปี 1991 เขาได้ควบตำแหน่งในภาควิชากิจการต่างประเทศของมหาวิทยาลัยเลนินกราด ตามบันทึกของรองอธิการบดี ยูรี มอลคานอฟ[28] ด้วยตำแหน่งใหม่นี้ ปูติดคอยจับตามองเหล่านักศึกษาที่มีแววเพื่อเฟ้นหาคนเข้าสังกัด และในช่วงนี้เองที่เขาได้พบกับ อนาโตลี ซ็อบจัก ซึ่งเป็นอดีตอาจารย์ของเขาอีกครั้งซึ่งกำลังดำรงตำแหน่งนายกเทศมนตรีเลนินกราด

ปูตินลาออกจากการเป็นเจ้าหน้าที่ด้านความมั่นคงขณะดำรงยศ พันโท ในวันที่ 20 สิงหาคม 1991[30] วันที่สองระหว่างความพยายามรัฐประหารเพื่อล้มล้างรัฐบาลของประธานาธิบดี มีฮาอิล กอร์บาชอฟ[31] ซึ่งหน่วย KGB ก็ร่วมสนับสนุนการรัฐประหาร ปูตินได้อธิบายเหตุผลการลาออกของเขาว่า "ทันทีที่รัฐประหารเริ่มขึ้น ผมก็ตัดสินใจทันทีว่าจะอยู่ข้างไหน" และในปี 1999 ปูตินก็ได้อธิบายว่าลัทธิคอมมิวนิสต์นั้นเป็น "ทางตันที่ไกลจากกระแสหลักของความศิวิไลซ์"[32]