ดาวนีย์ ออกเดทกับซาร่า เจสสิก้า ปาร์คเกอร์ และแต่งงานกับนักแสดงเดบบอร่า ฟอลคอเนอร์ 29 พฤษภาคม 1992 ต่อมาก็หย่าในวันที่ 26 เมษายน 2004 พวกเขามีบุตรชายหนึ่งคนชื่ออินดิโอ ต่อมาดาวนีย์แต่งงานใหม่กับ โปรดิวเซอร์ ซูซาน เลวิน (พบตอนแสดงเรื่อง Gothika) ในพิธีของยิว การแต่งงานจัดที่นิวยอร์กในวันที่ 27 สิงหาคม 2005 และมีบุตรชายหญิงอีก 2 คน คือ เอ็กซ์ตัน ดาวนีย์ และ เอวรี่ ดาวนีย์