โรเบิร์ต คารร์เกิดที่ไรท์ตันในมณฑลซัมเมอร์เซ็ทในอังกฤษ เมื่อราว ค.ศ. 1587 เป็นบุตรคนเล็กของทอมัส เคอรร์ (คารร์) แห่งเฟอร์นิเฮิร์สท์ในสกอตแลนด์กับภรรยาคนที่สองแจเน็ต เคอรร์ (คารร์) โรเบิร์ตเดินทางติดตามพระเจ้าเจมส์จากสกอตแลนด์ไปยังอังกฤษในฐานะมหาดเล็กแต่ถูกปลด หลังจากถูกปลดออกแล้วคารร์ก็เดินทางไปแสวงโชคในฝรั่งเศสอยู่ระยะหนึ่ง

คารร์กลับมาอังกฤษเมื่ออายุ 17 ปี ในการประลองบนหลังม้าครั้งหนึ่งคารร์ประสบอุบัติเหตต่อหน้าพระเจ้าเจมส์ผู้ทรงจำได้ ตามคำกล่าวของทอมัส โฮเวิร์ด เอิร์ลแห่งซัฟโฟล์คที่ 1 (Thomas Howard, 1st Earl of Suffolk) พระเจ้าเจมส์ทรงตกหลุมรักเด็กหนุ่ม ทรงช่วยดูแลรักษาพยาบาลด้วยพระองค์เอง ทรงประทานของขวัญต่างๆ ให้เป็นเวลาหลายปีจนกระทั่งปี ค.ศ. 1615 เมื่อคารร์ถูกแทนด้วยคนโปรดคนใหม่จอร์จ วิลเลียรส์ ดยุคแห่งบัคคิงแฮมที่ 1 พระเจ้าเจมส์ทรงเขียนจดหมายบรรยายลำดับข้อต่างๆ ที่คารร์ทำให้พระองค์ไม่ทรงพึงพอใจรวมทั้งเมื่อออกจากห้องส่วนพระองค์เมื่อทรง “ขอให้ทำตรงกันข้าม”

โรเบิร์ต คารร์ต่อมาสมรสกับฟรานเซส คารร์ เคานเทสแห่งซัมเมอร์เซ็ทผู้เดิมเป็นภรรยาของโรเบิร์ต เดเวอโรซ์ เอิร์ลแห่งเอสเซ็กซ์ที่ 3