พ.ต.ท.สมชาย เคยรับราชการตำรวจ และได้ลาออกจากราชการในขณะที่มียศเป็นพันตำรวจโท จากนั้นจึงได้เข้าทำงานการเมือง ในปี พ.ศ. 2535 และดำรงตำแหน่งสำคัญหลายตำแหน่ง อาทิ สมาชิกสภาผู้แทนราษฎร ประธานกรรมาธิการการทหาร รองโฆษกประจำสำนักนายกรัฐมนตรี[4] เลขานุการรัฐมนตรีกระทรวงวิทยาศาสตร์และสิ่งแวดล้อม และโฆษกกระทรวงมหาดไทย

พ.ต.ท.สมชาย เพศประเสริฐ เคยเป็นกรรมการบริหารพรรคนำไทย ซึ่งนำโดย ดร.อำนวย วีรวรรณ เมื่อปี พ.ศ. 2538[5] และเขาเป็นสมาชิกกลุ่ม 16[6] ต่อมาจึงได้ย้ายมาร่วมงานกับพรรคประชาธิปัตย์ ภายหลังได้เข้าร่วมกับพรรคไทยรักไทย พรรคพลังประชาชน และพรรคเพื่อไทยตามลำดับ นอกจากนั้นยังได้รับแต่งตั้งเป็นรองหัวหน้าพรรคเพื่อไทย ในเดือนกันยายน พ.ศ. 2553[7] ต่อมาในเดือนพฤษภาคม พ.ศ. 2554 ได้ลาออกจากพรรคเพื่อไทย และไปร่วมงานกับพรรคมาตุภูมิ ของพลเอกสนธิ บุญยรัตกลิน[8] พ.ศ. 2561 เป็นรองหัวหน้าพรรคเพื่อชาติ[9] และ วันที่ 15 กุมภาพันธ์ พ.ศ. 2562 เขาได้ลาออกจากการเป็นกรรมการบริหารพรรคเพื่อชาติ โดยระบุเหตุผลในหนังสือลาออกว่า เนื่องจากอุดมการณ์ แนวคิดและวิธีการบริหารพรรคการเมืองที่แตกต่างกัน[10]

พ.ต.ท.สมชาย เคยเป็นสมาชิกกลุ่มพลังโคราช สังกัดพรรคพลังประชารัฐ[11]