อดีตเคยรับราชการเป็นนายแพทย์ ก่อนที่จะลงสมัครรับเลือกตั้งสมาชิกสภาผู้แทนราษฎรครั้งแรกใน พ.ศ. 2529 สังกัดพรรคกิจสังคม ซึ่งได้รับเลือกตั้งในครั้งนั้น และได้รับเรื่อยมารวม 6 ครั้ง

ประสิทธิ์ ชัยวิรัตนะ ได้รับแต่งตั้งเป็นที่ปรึกษารัฐมนตรีช่วยว่าการกระทรวงสาธารณสุข (สุรพงษ์ สืบวงศ์ลี)[2]

ในการเลือกตั้งสมาชิกสภาผู้แทนราษฎรไทยเป็นการทั่วไป พ.ศ. 2562 เขาลงสมัครรับเลือกตั้งในสังกัดพรรคภูมิใจไทย แต่ไม่ได้รับการเลือกตั้ง

สมาชิกสภาผู้แทนราษฎร

นายแพทย์ประสิทธิ์ ชัยวิรัตนะ ได้รับการเลือกตั้งเป็นสมาชิกสภาผู้แทนราษฎรมาแล้ว 6 สมัย คือ

1. การเลือกตั้งสมาชิกสภาผู้แทนราษฎรไทยเป็นการทั่วไป พ.ศ. 2529 จังหวัดชัยภูมิ สังกัดพรรคกิจสังคม
2. การเลือกตั้งสมาชิกสภาผู้แทนราษฎรไทยเป็นการทั่วไป พ.ศ. 2531 จังหวัดชัยภูมิ สังกัดพรรคกิจสังคม
3. การเลือกตั้งสมาชิกสภาผู้แทนราษฎรไทยเป็นการทั่วไป มีนาคม พ.ศ. 2535 จังหวัดชัยภูมิ สังกัดพรรคสามัคคีธรรม
4. การเลือกตั้งสมาชิกสภาผู้แทนราษฎรไทยเป็นการทั่วไป พ.ศ. 2544 จังหวัดชัยภูมิ สังกัดพรรคชาติพัฒนา (พ.ศ. 2535) → พรรคไทยรักไทย
5. การเลือกตั้งสมาชิกสภาผู้แทนราษฎรไทยเป็นการทั่วไป พ.ศ. 2548 จังหวัดชัยภูมิ สังกัดพรรคไทยรักไทย
6. การเลือกตั้งซ่อมสมาชิกสภาผู้แทนราษฎรไทย พ.ศ. 2551 จังหวัดชัยภูมิ สังกัดพรรคพลังประชาชน (พ.ศ. 2541) → พรรคเพื่อไทย