เจมส์ มอนโรเกิดในเขตป่าของเวสต์มอร์แลนด์ เคาน์ตี้ รัฐเวอร์จิเนีย พื้นที่ดังกล่าวปัจจุบันอยู่ห่างจากมอนโร ฮอลล์ประมาณ 1 ไมล์

สเปนเซอร์ มอนโร (พ.ศ. 2270 - 2317) บิดาของมอนโร เป็นเจ้าของไร่ผู้มั่งคั่งและทำการค้าเกี่ยวกับงานไม้ ส่วนมารดา อลิซาเบธ โจนส์ มอนโร (พ.ศ. 2273 - 2317) สมรสกับสเปนเซอร์ มอนโรเมื่อปี พ.ศ. 2295 พวกเขามีบุตร-ธิดาด้วยกัน 5 คน ประกอบด้วย

• อลิซาเบธ มอนโร บัคเนอร์ - แห่งแคโรไลน์เคาน์ตี้ รัฐเวอร์จิเนีย
• เจมส์ มอนโร
• สเปนซ์ มอนโร จูเนียร์ - เสียชีวิตเมื่ออายุ 1 ปี
• แอนดรูว์ มอนโร - แห่งออลเบมาร์ล เคาน์ตี้ รัฐเวอร์จิเนีย
• โจเซฟ โจนส์ มอนโร - เจ้าหน้าที่ของศาลเขตนอร์ธอัมเบอร์แลนด์ เคาน์ตี้ รัฐเวอร์จิเนีย, เลขานุการส่วนตัวของประธานาธิบดีมอนโร ต่อมาตั้งรกรากในรัฐมิสซูรี