ตระกูลโกษะโยธิน สืบเชื้อสายมาจาก หลวงพินิจปรีชา (คลัง) โดยนามสกุล "โกษะโยธิน" (Kosayodhin) เป็นนามสกุลพระราชทานลำดับที่ 2962 ตั้งแต่สมัยรัชกาลที่ 6 และเนื่องจากเป็นสกุลทหารบก จึงมีคำว่า "โยธิน" ประกอบในนามสกุล

นายอภิรักษ์มีปู่คือ พันโทจมื่นศักดิ์สงคราม (นายร้อยเอกนายไกรพลแสน) รับราชการในกรมทหารรักษาวังของ พระบาทสมเด็จพระมงกุฎเกล้าเจ้าอยู่หัว และเป็นเจ้าของที่ดินส่วนใหญ่ ในอำเภอปากเกร็ด จังหวัดนนทบุรี ต่อมาในสมัยรัชกาลที่ 7 เกิดวิกฤติเศรษฐกิจทำให้ต้องมีการปรับโครงสร้างระบบราชการ เพื่อลดจำนวนคนจากหน่วยงานต่าง ๆ ลง ปู่จึงลาออกจากราชการ มาเก็บค่าเช่าจากที่ดินและตึกแถว

รุ่นถัดมาคือบิดาของนายอภิรักษ์ ที่เป็นศิษย์เก่าโรงเรียนเตรียมอุดมศึกษา และเรียนจบจากคณะวิศวกรรมศาสตร์ จุฬาลงกรณ์มหาวิทยาลัย เคยรับราชการ ที่กรมชลประทาน ก่อนจะออกมาทำธุรกิจส่วนตัว ในขณะที่ลุงของนายอภิรักษ์คือ พันเอกพิเศษทำนุ โกษะโยธิน รับราชการเป็นทหารจนเกษียณอายุ ส่วนป้า ของนายอภิรักษ์ คือ ร้อยเอกหญิงกานดา โกษะโยธิน เคยเป็นอาจารย์ในโรงเรียนเตรียมทหารจนได้ยศร้อยเอกหญิงนำหน้าชื่อ ก่อนจะย้ายไปเป็นอาจารย์ที่ มหาวิทยาลัยเชียงใหม่

ส่วนทางตระกูลจามรมานของมารดานายอภิรักษ์ มีต้นตระกูลคือ พระยานิติศาสตร์ไพศาล ที่เป็น อดีตรัฐมนตรีว่าการกระทรวงยุติธรรม และเป็น คณบดีคนแรกของ คณะนิติศาสตร์ มหาวิทยาลัยธรรมศาสตร์