ด้านครอบครัวนั้น ขุนศรีวิชัยสมรสกับนางเทพทอง ตั้งครอบครัวอยู่ที่ตำบลท่าสิบเบี้ย จังหวัดสุพรรณบุรี ทั้งสองมีบุตรด้วยกันเพียงคนเดียวคือขุนช้าง

ในบรรดาครอบครัวทั้งสามนั้น คือ ครอบครัวของขุนแผน ครอบครัวของขุนช้าง และครอบครัวของนางวันทอง ขุนศรีวิชัยดูเหมือนจะมียศสูงกว่าเพื่อน เพราะเป็นข้าราชการคนสนิทของสมเด็จพระพันวษาและมีสิทธิ์เข้าเฝ้าแห่แหนที่กรุงศรีอยุธยาได้ตามใจชอบ

ขุนศรีวิชัยนั้นเมื่อขุนช้างเติบใหญ่ขึ้นเป็นเด็กพอรู้ความก็พาไปเฝ้าถวายดอกไม้ธูปเทียนในระหว่างที่เสด็จออกขุนนางเพื่อถวายตัวเป็นมหาดเล็ก สมเด็จพระพันวษาทอดพระเนตรเห็นขุนช้างแล้วก็ทรงพระสรวลที่ขุนช้างหัวล้านตั้งแต่ยังเล็ก ๆ แต่ก็ทรงรับดอกไม้ธูปเทียนไว้และอนุญาตให้ขุนศรีวิชัยเอากลับไปเลี้ยงดูก่อน เติบใหญ่แล้วค่อยส่งเข้ารับราชการอีกทีก็ได้