เขตร ศรียาภัย เป็นลูกคนสุดท้องของพระยาวจีสัตยารักษ์ (ขำ ศรียาภัย) ในสมัยเด็กอายุประมาณ 10 ขวบ เขตร ศรียาภัย ได้เข้าโรงเรียนมัธยมวัดสุทธิวราราม อยู่ที่บ้านทวาย ชอบกีฬาประเภทออกแรงทุกชนิด เช่น พายเรือ ว่ายน้ำ วิ่งแข่ง ตี่จับ ฯลฯ ได้เป็นที่ 1 ในชุดวิ่งเปี้ยวชิงชนะเลิศกับชุดโรงเรียนวัดประทุมคงคา ได้ถ้วยและโรงเรียนวัดสุทธิวรารามมีชื่อทางวิ่งเปี้ยวแต่นั้นมา ลาออกเพื่อเข้าโรงเรียนอัสสัมชัญเมื่ออายุได้ 13 ปี เพราะทนถูกรังแกจากนักเรียนที่ใหญ่กว่าไม่ไหว ณ โรงเรียนฝรั่งแห่งใหม่กลับร้ายกว่าโรงเรียนเดิมเพราะมีนักเรียนมากกว่า 3 เท่า เขตร ศรียาภัย ต้องอดทนถูกรังแกอยู่ 3 ปี อันเป็นปฐมเหตุในการพยายามศึกษาวิชาต่อสู้ ซึ่งมีครูดี ๆ รวม 12 ท่าน[2]

เขตร ศรียาภัย เรียนอยู่ที่โรงเรียนอัสสัมชัญจนถึง พ.ศ. 2460 ได้ถูกบังคับให้เข้าชุดฟุตบอลแข่งขันกับพวกนักเรียนฝรั่งเศสทั้งๆ ที่ไม่มีความรู้ว่าเล่นกันอย่างไร แต่ชุดฟุตบอลนักเรียนอังกฤษก็ชนะ ได้รับเหรียญทองจารึกว่า JUNIOR TOURNAMENT 1917 รวม 11 เหรียญกับถ้วย 1 ใบ ต่อจากนั้นก็ได้เล่นฟุตบอลให้โรงเรียนและสมาคมอัสสัมชัญรวมเป็นเวลาประมาณ 17 ปี ในปี พ.ศ. 2477 โรงเรียนอัสสัมชัญจัดงานฉลองเป็นการใหญ่ที่ได้ตั้งโรงเรียนมาครบ 50 ปีบริบูรณ์ เขตร ศรียาภัย จึงได้รับรางวัลเหรียญทองคำสร้างพิเศษมีคำจารึกเป็นภาษาละตินว่า SEMPER FIDELIS ซึ่งแปลเป็นไทยว่า ซื่อสัตย์ตลอดกาล อันเป็นเหรียญเดียวที่โรงเรียนมอบให้นักเรียนตั้งแต่สร้างโรงเรียนมาตลอด 90 ปี