ชาญชัย เริ่มรับราชการในตำแหน่งประจำแผนกชั้นตรี กองเศรษฐกิจการคลัง สำนักงานปลัดกระทรวงการคลัง ในปี พ.ศ. 2497 ต่อมาได้รับแต่งตั้งเป็นผู้อำนวยการสำนักงานเศรษฐกิจการคลัง กระทรวงการคลัง ในปี พ.ศ. 2514 เป็นอธิบดีกรมสรรพสามิต ในปีถัดมา

ในปี พ.ศ. 2516 เป็นรัฐมนตรีว่าการกระทรวงพาณิชย์ ในรัฐบาลของนายสัญญา ธรรมศักดิ์ จากนั้นเมื่อนายกรัฐมนตรีได้กราบถวายบังคมลาออกจากตำแหน่ง เมื่อวันที่ 22 พฤษภาคม พ.ศ. 2517 นายชาญชัยจึงกลับเข้ารับราชการในตำแหน่งอธิบดีกรมสรรพากร อธิบดีกรมศุลกากร และเป็นปลัดกระทรวงการคลัง ตามลำดับเรื่อยมา

จนกระทั่งในปี พ.ศ. 2522 ในขณะที่ดำรงตำแหน่งปลัดกระทรวงการคลังนั้น เขาได้รับแต่งตั้งเป็นรัฐมนตรีช่วยว่าการกระทรวงการคลัง[1] อีกตำแหน่งหนึ่ง และในปี พ.ศ. 2524 ได้รับแต่งตั้งเป็นสมาชิกวุฒิสภา[2]

จากนั้นในปี พ.ศ. 2525 เป็นเลขาธิการคณะกรรมการส่งเสริมการลงทุน สำนักนายกรัฐมนตรี[3]

เป็นประธานกรรมการธนาคารออมสิน ในปี พ.ศ. 2525 - 2527[4]