ยรรยง พวงราช เริ่มทำงานเป็นที่ปรึกษากฎหมายประจำสำนักงานไพร้ซ์สานนท์และสหาย เมื่อปี พ.ศ. 2517 ต่อมาได้เข้ารับราชการเป็นอาจารย์ตรี ประจำคณะนิติศาสตร์ จุฬาลงกรณ์มหาวิทยาลัย ในปี พ.ศ. 2518 จากนั้นเขาได้รับทุนรัฐบาลไทยให้ไปศึกษาที่ประเทศสหรัฐอเมริกา กระทั่งในปี พ.ศ. 2530 จึงได้โอนย้ายมารับหน้าที่ผู้เชี่ยวชาญด้านกฎหมายพาณิชย์ ประจำกระทรวงพาณิชย์ และได้รับแต่งตั้งเป็นรองอธิบดีกรมเศรษฐกิจการพาณิชย์ ในปี พ.ศ. 2534 และเป็นที่ปรึกษากฎหมายกระทรวงพาณิชย์ ระดับ 10 ในปี พ.ศ. 2539 เป็นผู้ตรวจราชการกระทรวงพาณิชย์ ในปี พ.ศ. 2541 เป็นรองปลัดกระทรวงพาณิชย์ ในปี พ.ศ. 2543 จากนั้นในปีถัดมาได้รับแต่งตั้งเป็นอธิบดีกรมทรัพย์สินทางปัญญา และกลับไปรับตำแหน่งรองปลัดกระทรวงพาณิชย์ ในปี พ.ศ. 2546 จนถึงปี พ.ศ. 2550 ได้รับแต่งตั้งเป็นอธิบดีกรมการค้าภายใน และเป็นปลัดกระทรวงพาณิชย์ ในปี พ.ศ. 2552