พรชัย รุจิประภา เคยดำรงตำแหน่งรองเลขาธิการคณะกรรมการพัฒนาการเศรษฐกิจและสังคมแห่งชาติ เมื่อปี พ.ศ. 2542[2] เป็นรองปลัดกระทรวงพลังงาน ในวันที่ 3 กรกฎาคม ปี พ.ศ. 2546[3] และเป็นปลัดกระทรวงพลังงาน ในวันที่ 1 ตุลาคม พ.ศ. 2549[4] ในช่วงรัฐบาลพลเอกสุรยุทธ์ จุลานนท์ ระหว่างดำรงตำแหน่งปลัดกระทรวงพลังงาน ในรัฐบาล อภิสิทธิ์ เวชชาชีวะ เขาเป็นกรรมการศูนย์อำนวยการแก้ไขสถานการณ์ฉุกเฉิน เขาดำรงตำแหน่งดังกล่าวตั้งแต่วันที่ 7 เมษายน 2553 ถึง 30 กันยายน พ.ศ. 2553[5]เขาพ้นจากตำแหน่งเนื่องจากได้รับการดำรงตำแหน่งปลัดกระทรวงวิทยาศาสตร์และเทคโนโลยี

จากนั้นจึงโอนมาดำรงตำแหน่งปลัดกระทรวงวิทยาศาสตร์และเทคโนโลยี ตั้งแต่วันที่ 1 ตุลาคม พ.ศ. 2553[6] ในช่วงรัฐบาลนายอภิสิทธิ์ เวชชาชีวะ

ในปี พ.ศ. 2557 เขาได้รับแต่งตั้งเป็นรัฐมนตรีว่าการกระทรวงเทคโนโลยีสารสนเทศและการสื่อสาร ในรัฐบาลของพลเอกประยุทธ์ จันทร์โอชา[7] กระทั่งพ้นจากความเป็นรัฐมนตรี เมื่อวันที่ 19 สิงหาคม พ.ศ. 2558[8]