อภัย รับราชการในสังกัดกระทรวงมหาดไทย เขาได้รับแต่งตั้งให้ดำรงตำแหน่งสูงขึ้นเรื่องมา จนกระทั่งได้รับแต่งตั้งเป็นผู้ว่าราชการจังหวัดสระบุรี ผู้ว่าราชการจังหวัดพิษณุโลก อธิบดีกรมการพัฒนาชุมชน อธิบดีกรมราชทัณฑ์ รองปลัดกระทรวงมหาดไทย และเป็นอธิบดีกรมการปกครอง ต่อมาเขาได้รับแต่งตั้งให้โอนย้ายมาเป็นปลัดกระทรวงแรงงานและสวัสดิการสังคม (ต่อมาเปลี่ยนชื่อเป็น กระทรวงแรงงาน) และเป็นปลัดกระทรวงการพัฒนาสังคมและความมั่นคงของมนุษย์

หลังเกษียณอายุราชการ เขาได้รับแต่งตั้งเป็นตุลาการศาลรัฐธรรมนูญ แต่งตั้งจากผู้ทรงคุณวุฒิสาขารัฐศาสตร์ (30 มิถุนายน พ.ศ. 2547) และได้รับแต่งตั้งเป็นรัฐมนตรีว่าการกระทรวงแรงงาน ในรัฐบาลพลเอกสุรยุทธ์ จุลานนท์[4] ภายหลังการรัฐประหาร พ.ศ. 2549