เจ้าพระยาอภัยภูเบศร (แบน) หรือ พระยายมราช (แบน) นั้นเป็นแม่ทัพคนหนึ่งในสมเด็จพระเจ้ากรุงธนบุรีและพระบาทสมเด็จพระพุทธยอดฟ้าจุฬาโลกมหาราช เมื่อรัชกาลสมเด็จพระเจ้ากรุงธนบุรีได้มีพระบรมราชโองการสั่งยกทัพไปช่วยเขมรเพื่อป้องกันการรุกรานจากญวน โดย พระบาทสมเด็จพระพุทธยอดฟ้าจุฬาโลกเมื่อครั้งยังดำรงพระอิสริยศเป็น เจ้าพระยามหากษัตริย์ศึกเป็นแม่ทัพใหญ่ ซึ่งได้ขอตัวพระยายมราช (แบน) ไปด้วย ด้วยเป็นนายทหารฝีมือดี เมื่อเสด็จนำกองทัพไปถึงเมืองกัมพูชาแล้ว พระยาสรรค์ก่อกบฏขึ้นในกรุงธนบุรี เจ้าพระยามหากษัตริย์ศึกต้องรีบนำทัพกลับเพื่อจัดการกบฏ แต่ทางกัมพูชานี้ได้ทิ้งไว้ให้พระยายมราช (แบน) เป็นผู้ดูแล ไม่นานนัก เมื่อเสด็จมาถึงและได้ปราบดาภิเษกเถลิงถวัลย์ราชสมบัติเป็นพระบาทสมเด็จพระพุทธยอดฟ้าแล้ว ส่วนพระยายมราช (แบน) ก็ติดราชการอยู่ที่เมืองกัมพูชาอยู่ต่อมา นักองค์เอง เจ้านายฝ่ายเขมร ในเวลานั้นอายุเพียง ๕ ขวบ เป็นผู้มีสิทธิ์ขึ้นเถลิงถวัลย์ราชสมบัติเขมร พระยายมราช (แบน) คิดว่าหากปล่อยไว้คงเกิดการฆ่าฟันขึ้นอีก จึงให้พระยาเขมรและขุนนางฝ่ายไทยคุมตัวนักองค์เองขึ้นมาทูลเกล้าฯ ถวายแด่ พระบาทสมเด็จพระพุทธยอดฟ้าที่กรุงรัตนโกสินทร์ ซึ่งพระบาทสมเด็จพระพุทธยอดฟ้าก็ได้ทรงรับนักองค์เองเป็นราชบุตรบุญธรรม แล้วมีพระบรมราชโองการโปรดเกล้าฯให้เลื่อนยศของพระยายมราช (แบน) เป็น เจ้าพระยาอภัยภูเบศร (แบน) ได้เป็นผู้ปกครองเขมร และถิอเป็นต้นตระกูล "อภัยวงศ์"และเมื่อถึงรัชกาลพระบาทสมเด็จพระจุลจอมเกล้าเจ้าอยู่หัว ตระกูลอภัยวงศ์ต่อว่า ได้ปกครองเมืองในประเทศกัมพูชาเรื่อยมา โดยมีเจ้าเมืองผู้ปกครองพระตะบองคนสุดท้าย คือ เจ้าพระยาอภัยภูเบศร์ (ชุ่ม อภัยวงศ์) ตอนนั้นยังไม่มีนามสกุล โดยในช่วงกลางสมัยรัชกาล ฝรั่งเศสได้เข้ามายึดประเทศกัมพูชา แล้วเรียกร้องให้ไทยคืนดินแดนที่ไทยได้มาจากกัมพูชาให้แก่กัมพูชาเสีย ซึ่งความจริง คือ ให้แก่ฝรั่งเศสเพราะฝรั่งเศสเข้ามาปกครองกัมพูชาในที่สุดไทยต้องยอมเสียพระตะบอง, เสียมราฐ และศรีโสภณ ให้กับฝรั่งเศส ทำให้คนไทยที่อยู่ที่นั่นจำนวนมาก ต้องเลือกว่าจะอยู่หรือจะกลับ ถ้าอยู่ก็ต้องเป็นพลเมืองชั้นสอง เพราะไม่ได้อยู่ภายใต้พระบรมโพธิสมภารของพระมหากษัตริย์ไทยอีกต่อไปแล้วเจ้าพระยาอภัยภูเบศร์จึงได้ตัดสินใจอพยพครอบครัว พาลูกเมีย ขนของด้วยเกวียนเป็นร้อย ๆ เล่ม ช้าง, ม้าอีกมากมาย เดินทางรอนแรมผ่านป่าทึบมาหลายวัน จากพระตะบองกลับประเทศไทย โดยเดินทางเข้าทางเมืองปราจีนบุรี จึงได้พักผู้คนบริวารและพาหนะที่นี่ ไม่ได้พาเข้ามาอยู่ในกรุงเทพฯ เพราะที่กรุงเทพฯไม่มีราชการอะไรที่จะต้องเข้าไป ทั้ง ๆ ที่ตัวท่านก็มีบ้านอยู่ที่กรุงเทพฯ แถวสะพานยศเส ซึ่งปัจจุบันเป็นที่ตั้งของกรมวิทยาศาสตร์การแพทย์เดิมจากนั้นเมื่อพระบาทสมเด็จพระจุลจอมเกล้าเจ้าอยู่หัวเสด็จประพาสเมืองปราจีนบุรี เจ้าพระยาอภัยภูเบศร์เห็นว่า ในการเสด็จครั้งนั้นไม่มีสถานที่เหมาะสมที่จะใช้ รับเสด็จ จึงได้สร้างตึกใหญ่ขึ้นภายในบริเวณหมู่เรือนที่พักของท่านขึ้น ซึ่งปัจจุบันคือ โรงพยาบาลเจ้าพระยาอภัยภูเบศรมาในปี พ.ศ. 2460 ในรัชกาลพระบาทสมเด็จพระมงกุฎเกล้าเจ้าอยู่หัว ได้ทรงพระมหากรุณาพระราชทานนามสกุลแก่เจ้าพระยาอภัยภูเบศร์ และผู้สืบเชื้อสายต่อจากนั้นไปว่า "อภัยวงศ์"