อ็องรี เดอ ตูลูซ-โลแทร็กเกิดที่อาลบีในแคว้นมีดี-ปีเรเน เป็นลูกคนแรกของเคานต์อัลฟงส์และเคาน์เตสส์อาแดล เดอ ตูลูซ-โลแทร็กซึ่งเป็นครอบครัวผู้ดีตกยาก เคานต์อัลฟงส์และเคานต์เทสอาแดลเป็นลูกพี่ลูกน้องกันและมิใช่เป็นรุ่นแรกของครอบครัวโลแทร็กที่แต่งงานกันเอง ซึ่งอาจจะเป็นสาเหตุที่อ็องรีมีโรคหลายโรคมาตั้งแต่กำเนิดและโรคที่ว่านี้อาจจะมีสาเหตุมาจากการแต่งงานระหว่างพี่น้องในสายเลือดเดียวกัน น้องชายของอ็องรีเกิดเมื่อปี ค.ศ. 1867 และเสียชีวิตปีต่อมา

เมื่ออายุ 13 และ 14 ปีกระดูกสะโพกของอ็องรีหักทั้งสองข้างและไม่หายดี แพทย์สมัยใหม่สันนิษฐานว่าสาเหตุที่ไม่ยอมหายคงเป็นเพราะความไม่ปกติทางกรรมพันธุ์ซึ่งอาจจะมาจากโรค “pycnodysostosis” หรือบางทีก็รู้จักกันในชื่อ “กลุ่มอาการตูลูซ-โลแทร็ก” (Toulouse-Lautrec Syndrome)[1] หรืออาจจะเป็นความผิดปกติเกี่ยวกับโรคกระดูกต่าง ๆ[2] หรืออาจจะเป็นโรคกระดูกอ่อนและ praecox virilism ผสมกัน ตั้งแต่นั้นส่วนขาของอ็องรีหยุดเจริญเติบโต ฉะนั้นอ็องรีจึงสูงเพียง 1.54 เมตร หรือ 5 ฟุต 1 นิ้ว[3] แต่ร่างกายส่วนบนเติบโตตามปกติแต่เพียงขาเท่านั้นที่สั้นอย่างเด็ก นอกจากนั้นยังกล่าวกันว่าอ็องรีมีปัญหาของการเติบโตอย่างผิดปรกติของอวัยวะเพศ (Hypertrophy))[4]

เพราะความที่ไม่สามารถทำอะไรอย่างที่คนอื่น ๆ ทำกันได้ อ็องรีจึงหันความสนใจทั้งหมดมาทางศิลปะ และกลายมาเป็นเป็นจิตรกรคนสำคัญของสมัยโพสต์อิมเพรสชันนิสม์, อิลลัสเตรเตอร์แบบอาร์ตนูโว, และ lithographer อ็องรีบันทึกชีวิตแบบโบฮีเมีย (Bohemianism) ในปารีสในปลายคริสต์ศตวรรษที่ 19 ไว้มาก นอกจากนั้นยังเป็นนักเขียนภาพประกอบของนิตยสาร “Le Rire” ระหว่างกลางคริสต์ทศวรรษ 1890