เจ้าพระยาวรวงษาธิราช มีนามเดิมว่า "ขุนทอง" ท่านเป็นบุตรของเจ้าพระยาโกษาธิบดี (ปาน) ไม่ทราบนามมารดา

เมื่อขุนทองโตขึ้น บิดาได้พาไปรับราชการ ได้รับยศเป็นพระยาอัษฎาเรืองเดช จางวางกรมพระตำรวจ ในแผ่นดิน ออกพระเพทราชา และเลื่อนเป็นพระยากลาโหม เสนาบดีทางการทหาร ต่อมาพระยาวรวงศาธิราช เสนาบดีทางด้านการต่างประเทศ ในรัชสมัยสมเด็จพระสรรเพชญ์ที่ 8 ได้รับพระราชทานบรรดาศักดิ์เป็นที่เจ้าพระยาวรวงศาธิราช เสนาบดีกรมคลัง

เจ้าพระยาวรวงศาธิราช มีบุตรชื่อทองคำ เป็นเจ้ากรมมหาดเล็กในรัชกาลสมเด็จพระสรรเพชญ์ที่ 8 และเลื่อนยศเป็นพระราชนิกูล ตำแหน่งปลัดว่าการกรมมหาดไทย ในรัชกาลสมเด็จพระเจ้าอยู่หัวท้ายสระ พระยาราชนิกูลนั้นได้ย้ายหลักแหล่งไปสร้างบ้านอยู่ที่ “สะกุตรัง” หรือเมืองอุทัยธานีในปัจจุบัน