พระยาอภัยภูเบศร (รศ) นามเดิมว่ารศ เป็นบุตรชายคนโตของเจ้าพระยาอภัยภูเบศร (แบน) บิดาได้ส่งตัวเข้ามาเป็นมหาดเล็กในกรุงเทพฯ ต่อมาเมื่อพระยาวิบูลราช (แบน) ได้เลื่อนขึ้นเป็นพระยาอภัยภูเบศร (แบน) เป็นเจ้าเมืองพระตะบองคนที่ 2 หลังจากที่เจ้าพระยาอภัยภูเบศร (แบน) ถึงแก่กรรม มหาดเล็กรศได้เป็นผู้ช่วยราชการในพระตะบอง จนได้เป็นเจ้าเมืองพระตะบองเมื่อ พ.ศ. 2357เมื่อพระยาอภัยภูเบศร (รศ) ขึ้นเป็นเจ้าเมือง เวียดนามพยายามเข้ามายึดครองพระตะบองไปเป็นของกัมพูชา แต่ได้ขอกำลังทหารจากนครราชสีมามาขับไล่ทหารเวียดนามออกไปได้ ต่อมา ใน พ.ศ. 2370 พระยาอุดมภักดี (เชด) และกรมการเมืองกล่าวโทษพระยาอภัยภูเบศร (รศ) มายังกรุงเทพฯ พระบาทสมเด็จพระนั่งเกล้าเจ้าอยู่หัวจึงให้พระยาอภัยภูเบศร (รศ) เข้ามารับราชการในกรุงเทพฯ ตั้งให้เป็นพระยาพิพิธภักดี (รศ) และให้พระยาอุดมภักดี (เชด) ขึ้นเป็นเจ้าเมืองแทน ต่อมา พระยาพิพิธภักดี (รศ) ได้เลื่อนขึ้นเป็นพระยาวิเศษสุนทร และได้มาเป็นปลัดเมืองเมื่อนักองค์อิ่มได้เป็นเจ้าเมืองพระตะบอง ต่อมาเมื่อนักองค์อิ่มหลงเชื่อเวียดนามว่าจะตั้งให้ครองราชสมบัติในเวียดนามและเสด็จไปกรุงเว้ ได้บังคับปลัดรศไปเวียดนามด้วยกันด้วย และถูกกักขังในกรุงเว้พร้อมนักองค์อิ่ม จนนักองค์อิ่มสิ้นพระชนม์ที่เว้ ส่วนปลัดรศได้กลับมาพระตะบองหลังจากสงครามสิ้นสุด และได้สร้างวัดไว้แห่งหนึ่งเรียกว่าวัดปลัด