นายชาญชัย ชัยรุ่งเรือง เริ่มเข้าสู่การเมืองโดยการเป็นสมาชิกสภาผู้แทนราษฎรจังหวัดมหาสารคาม ในปี พ.ศ. 2526 พ.ศ. 2529 พ.ศ. 2535/1 พ.ศ. 2538 พ.ศ. 2544 และ พ.ศ. 2548 เคยดำรงตำแหน่งในการเมืองตำแหน่งรองโฆษกประจำสำนักนายกรัฐมนตรี เป็นผู้ช่วยเลขานุการรัฐมนตรีว่าการกระทรวงมหาดไทย และได้รับแต่งตั้งเป็นรัฐมนตรีว่าการกระทรวงอุตสาหกรรม ในรัฐบาลของนายอภิสิทธิ์ เวชชาชีวะ ในช่วงปลายปี พ.ศ. 2550

นายชาญชัย ชัยรุ่งเรือง ได้รับการแต่งตั้งให้เป็นเลขาธิการพรรคเพื่อแผ่นดิน ในช่วงปลายปี พ.ศ. 2551 ซึ่งมีพลตำรวจเอก ประชา พรหมนอก เป็นหัวหน้าพรรค ต่อมาได้มีการยื่นเรื่องต่อคณะกรรมการการเลือกตั้ง (กกต.) ให้ตรวจสอบข้อเท็จจริงเกี่ยวกับการประชุมว่าผิดข้อบังคับ โดย กกต. ได้มีมติเห็นว่าการประชุมดังกล่าวผิดข้อบังคับ[2] หลังจากนั้นได้มีการลงมติเลือกหัวหน้าพรรคคนใหม่ ปรากฏว่านายชาญชัย ชัยรุ่งเรือง ได้รับเลือกเป็นหัวหน้าพรรคเพื่อแผ่นดินแทน จนกระทั่งในช่วงเดือนพฤษภาคม พ.ศ. 2554 นายชาญชัย พร้อมด้วยสมาชิกพรรคเพื่อแผ่นดิน ได้ตัดสินใจย้ายไปร่วมงานการเมืองกับพรรครวมชาติพัฒนา และเปลี่ยนชื่อพรรคใหม่เป็น พรรคชาติพัฒนาเพื่อแผ่นดิน

นายชาญชัย ชัยรุ่งเรือง ถูกปรับออกจากตำแหน่งรัฐมนตรีกระทรวงอุตสาหกรรมในเดือนมิถุนายน พ.ศ. 2553[3] หลังการอภิปรายทั่วไปเพื่อลงมติไม่ไว้วางใจรัฐมนตรีในประเทศไทย พ.ศ. 2553 เพราะ ส.ส. 2 คนของพรรคเพื่อแผ่นดินได้ลงมติไม่ไว้วางใจรัฐมนตรีในรัฐบาล 2 คน คือ นายชวรัตน์ ชาญวีรกูล และนายโสภณ ซารัมย์ จากพรรคภูมิใจไทย ทำให้แกนนำของพรรคภูมิใจไทย แสดงความไม่พอใจ และเรียกร้องให้นายกรัฐมนตรีปรับพรรคเพื่อแผ่นดินออกจากพรรคร่วมรัฐบาล

นอกจากงานการเมืองแล้ว ชาญชัย ชัยรุ่งเรือง เคยได้รับหน้าที่เป็นประธานที่ปรึกษา และอาจารย์พิเศษของมหาวิทยาลัยกรุงเทพธนบุรี