อดีตเป็นข้าราชการสังกัดกรมพัฒนาที่ดิน ขจรศักดิ์ ลงสมัครเลือกตั้งสมาชิกสภาผู้แทนราษฎรครั้งแรกใน พ.ศ. 2526 สังกัดพรรคชาติประชาธิปไตยเป็นพรรคการเมืองแรก และได้รับเลือกเรื่อยมา รวม 6 ครั้ง โดยมีพรรคความหวังใหม่เป็นพรรคการเมืองสุดท้าย

สมาชิกสภาผู้แทนราษฎร

ขจรศักดิ์ ศรีสวาสดิ์ ได้รับการเลือกตั้งเป็นสมาชิกสภาผู้แทนราษฎรทั้งหมด 6 สมัย คือ

1. การเลือกตั้งสมาชิกสภาผู้แทนราษฎรไทยเป็นการทั่วไป พ.ศ. 2526 จังหวัดร้อยเอ็ด สังกัดพรรคชาติประชาธิปไตย
2. การเลือกตั้งสมาชิกสภาผู้แทนราษฎรไทยเป็นการทั่วไป พ.ศ. 2529 จังหวัดร้อยเอ็ด สังกัดพรรคกิจประชาคม
3. การเลือกตั้งสมาชิกสภาผู้แทนราษฎรไทยเป็นการทั่วไป พ.ศ. 2531 จังหวัดร้อยเอ็ด สังกัดพรรคราษฎร (พ.ศ. 2529)
4. การเลือกตั้งสมาชิกสภาผู้แทนราษฎรไทยเป็นการทั่วไป มีนาคม พ.ศ. 2535 จังหวัดร้อยเอ็ด สังกัดพรรคความหวังใหม่
5. การเลือกตั้งสมาชิกสภาผู้แทนราษฎรไทยเป็นการทั่วไป พ.ศ. 2538 จังหวัดร้อยเอ็ด สังกัดพรรคความหวังใหม่
6. การเลือกตั้งสมาชิกสภาผู้แทนราษฎรไทยเป็นการทั่วไป พ.ศ. 2539 จังหวัดร้อยเอ็ด สังกัดพรรคความหวังใหม่