พื้นเพครอบครัวของเดอ ลา โฮยา เป็นชาวเม็กซิกันที่เข้ามาอาศัยอยู่ในสหรัฐอเมริกา โดยที่ผู้ชายในตระกูล ไม่ว่าจะเป็น พ่อ (โจเอล ซีเนียร์), ปู่ (บินเซนเต้), พี่ชาย (โจเอล จูเนียร์) ก็ล้วนแต่เป็นนักมวยมาก่อนทั้งนั้น เมื่อวัยเด็ก เดอ ลาโฮยา เป็นเด็กอ่อนแอ มักจะโดนพี่ชายและเด็กในละแวกบ้านแกล้งเสมอ ๆ