โรซาลีนน์ สมิธ ได้ออกเดตกับจิมมี คาร์เตอร์ ในปีค.ศ. 1945 ในขณะนั้นเป็นทหารอเมริกันที่เมืองอนาโปลิส ในวันที่ 7 กรกฎาคม พ.ศ. 2489 ทั้งสองคนก็แต่งงาน

จิมมี และ โรซาลีนน์ มีลูกทั้งหมด 4 คน คือ จอห์น วิลเลียม "แจ็ค" (เกิดเมื่อปี 1947) , จอห์น เอิร์ล "ชิป" (เกิดเมื่อปี 1950) , ดอนเนล เจฟฟรีย์ "เจฟ" (เกิดเมื่อปี 1952) และ เอมี ลีนน์ (เกิดเมื่อปี 1967) ลูกสามคนแรกของจิมมี และ โรซาลีนน์ เติบโตและย้ายที่รัฐจอร์เจีย เนื่องจากสามีออกรับราชการ

ในปีค.ศ. 1953 หลังจากที่สามีของนางลาออกจากราชการทหารกองทัพ เธอได้ช่วยสามีเก็บถั่วในฟาร์มและทำธุรกิจ เธอทำงานเกี่ยวกับบัญชี ตั้งแต่ปี 1962 เป็นปีที่สามีของนางจะลงรับสมัครเป็นผู้ว่าการรัฐจอร์เจีย เธอจึงเข้ามามีส่วนร่วมทางการเมือง