ควง อภัยวงศ์เกิดเมื่อวันที่ 17 พฤษภาคม พ.ศ. 2445 ณ จังหวัดพระตะบอง ซึ่งขณะนั้นอยู่ในมณฑลบูรพา ราชอาณาจักรสยาม (ปัจจุบันอยู่ในประเทศกัมพูชา) เป็นบุตรของเจ้าพระยาอภัยภูเบศร (ชุ่ม อภัยวงศ์) ผู้สำเร็จราชการจังหวัดพระตะบอง กับนางรอด เขาสมรสกับคุณหญิงเลขา อภัยวงศ์ และเป็นพระปิตุลา (อา) ในพระนางเจ้าสุวัทนา พระวรราชเทวี ในรัชกาลที่ 6 และพระประยูรญาติของสมเด็จพระเจ้าภคินีเธอ เจ้าฟ้าเพชรรัตนราชสุดา สิริโสภาพัณณวดี

เริ่มศึกษาหนังสือกับขุนอุทัยราชภักดี ผู้เป็นลุงข้างมารดา จากนั้นเข้าศึกษาที่โรงเรียนเทพศิรินทร์และโรงเรียนอัสสัมชัญ จากนั้นได้เดินทางไปศึกษาวิชาวิศวกรรมโยธา ที่เอกอล ซังตรัล เดอ ลียอง ประเทศฝรั่งเศส

เคยรับราชการเป็นนายช่างผู้ช่วยโท แผนกกองช่างโทรเลข กรมไปรษณีย์โทรเลข จนได้ดำรงตำแหน่งอธิบดีกรมไปรษณีย์โทรเลข

และได้รับพระราชทานยศพันตรีปฏิบัติหน้าที่ราชองครักษ์พิเศษ เมื่อคราวร่วมสงครามอินโดจีนในปี 2484 และได้รับพระราชทานบรรดาศักดิ์เป็นหลวงโกวิทอภัยวงศ์ แต่ต่อมาลาออกจาก บรรดาศักดิ์ เมื่อวันที่ 4 ธันวาคม พ.ศ. 2484

ซึ่งในสงครามครั้งนี้ ได้ทำหน้าที่เป็นนายทหารช่างผู้คุมงานก่อสร้างถนนไปเชียงตุง และต่อมาได้รับแต่งตั้งให้เป็นประธานการรับมอบดินแดนมณฑลบูรพาจากอินโดจีนฝรั่งเศสด้วย[1]