โรซาลีนน์เกิดที่เพลนส์ รัฐจอร์เจีย เป็นลูกคนโตของแฟรนซ์ อเลทเทีย มัวร์เรย์ (1905-1997) เป็นนักออกแบบชุดและวิลเบิร์น เอ็กการ์ สมิธ (1896-1940) เป็นช่างซ่อมรถและชาวนา เธอมีน้อง 3 คน คือ วิลเลียม เจอโรลด์ "เจอร์รี" สมิธ (อาชีพ วิศวกร ; 1929-2003) และมัวร์เรย์ ลี สมิธ (อาชีพ ครู ,รัฐมนตรี ; 1932-2003) และมีน้องสาว 1 คน คือ ลิเลียน อเลทเทีย สมิธ วอลล์ (เกิดเมื่อค.ศ. 1936)

วิลเบิร์น สมิธ ผู้เป็นบิดาเสียชีวิตในปี 1940 ที่เมืองลิวเคเมีย ขณะนั้นโรซาลีนน์อายุ 13 ปี เธอได้ช่วยมารดาในการออกแบบชุด เธอเข้าศึกษาที่โรงเรียนวาเลดิทอเรียนและจบการศึกษาจากมหาวิทยาลัยจอร์เจียเซาท์เวสต์