ชีวิตในวัยเด็กของขรัวอินโข่งไม่ปรากฏหลักฐานที่แน่ชัด รวมทั้งปีที่เกิด ทราบเพียงว่าขรัวอินโข่งเกิดที่ตำบลบางจาน อำเภอเมือง จังหวัดเพชรบุรีในสมัยรัชกาลที่ 3 มีชื่อเดิมว่า "อิน" เดินทางเข้ามาบวชเป็นสามเณรที่กรุงเทพฯ แม้อายุเกินมากแล้วก็ยังไม่ยอมบวชพระจนถูกล้อเป็นเณรโค่ง แต่ในที่สุดสามเณรอินจึงได้ยอมบวชเป็นพระที่วัดราชบูรณะ (วัดเลียบ) ชื่อจึงสันนิษฐานกันว่ามาจากการถูกเรียกล้อว่า “อินโค่ง” ซึ่งสมเด็จพระเจ้าบรมวงศ์เธอ เจ้าฟ้ากรมพระยานริศรานุวัดติวงศ์ทรงอธิบายว่า “โค่ง” กับ “โข่ง” แปลว่า “ใหญ่” ต่อมาโค่งเพี้ยนเป็น “โข่ง” จึงเรียกกันว่า “อินโข่ง” ส่วนคำว่า “ขรัว” ได้มาหลังจาก “พระอินโข่ง” มีพรรษาและทรงความรู้มากขึ้นจึงได้รับการเคารพนับถือเป็นพระอาจารย์ซึ่งเจ้านายสมัยนั้นนิยมเรียกว่า “ขรัว” คนทั่วไปจึงเรียกพระภิกษุอินว่า “ขรัวอินโข่ง” ถึงปัจจุบัน