เดือนมิถุนายน ค.ศ. 2004 เนลสัน แมนเดลา ขณะอายุ 85 ปี ได้ประกาศ "เกษียณหลังเกษียณอายุ" และถอนตัวจากงานสาธารณะต่าง ๆ เขาบอกว่า "ไม่ต้องโทรหาผม ผมจะโทรไปเอง"[152] มูลนิธิของเขาปฏิเสธการรับงานต่าง ๆ ทั้งการปรากฏตัวต่อสาธารณะและการสัมภาษณ์ แม้เขาจะยังคงพบปะกับเพื่อนฝูงและครอบครัวอยู่สม่ำเสมอ[153]

แมนเดลายังคงมีส่วนในงานต่างประเทศ ปี ค.ศ. 2005 เขาก่อตั้ง Nelson Mandela Legacy Trust[154] เขาเดินทางไปสหรัฐอเมริกา เพื่อขอความช่วยเหลือทางเศรษฐกิจให้แก่ประเทศแอฟริกาใต้ จาก Brookings Institute และ NAACP[154][155] เขาหารือกับฮิลลารี คลินตัน สว.สหรัฐฯ และประธานาธิบดี จอร์จ ดับเบิลยู. บุช รวมถึงได้พบบารัก โอบามา ซึ่งขณะนั้นเป็น สว.สหรัฐฯ[155] แมนเดลายังกระตุ้นให้ประธานาธิบดีซิมบับเว โรเบิร์ต มูกาบี ลาออกหลังจากที่เกิดเหตุละเมิดสิทธิมนุษยชนในประเทศนั้น ซึ่งเมื่อไม่สำเร็จผล เขาได้กล่าวต่อต้านมูกาบีอย่างเปิดเผยเมื่อปี ค.ศ. 2007 เรียกร้องให้ลงจากตำแหน่ง "เพื่อความนับถือและเกียรติยศที่ยังมีเหลืออยู่บ้าง"[156] ปีเดียวกันนั้น แมนเดลา มาเชล และเดสมอน์ ตูตู ร่วมกันจัดตั้งกลุ่มผู้นำของโลกที่เมืองโจฮันเนสเบิร์กเพื่อระดมสติปัญญาในการแก้ปัญหาอันยากยิ่งของโลก แมนเดลาประกาศการก่อตั้งกลุ่ม "The Elders" ในการกล่าวสุนทรพจน์วันเกิดปีที่ 89 ของเขา[157]

มีการจัดงานเฉลิมฉลองวันเกิดปีที่ 90 ของแมนเดลาตลอดทั่วประเทศแอฟริกาใต้ เมื่อวันที่ 18 กรกฎาคม ค.ศ. 2008 โดยสถานที่จัดงานหลักอยู่ที่เมืองควูนู[116] นอกจากนี้มีการจัดคอนเสิร์ตเพื่อเป็นเกียรติแก่แมนเดลา ที่สวนสาธารณะไฮด์ปาร์ก ในกรุงลอนดอน[158] สุนทรพจน์ที่กล่าวในงานนี้ เนลสัน แมนเดลา ได้ร้องขอให้คนรวยให้ความช่วยเหลือแก่คนจนทั่วโลก[116] แมนเดลายังให้ความช่วยเหลือแก่พรรคเอเอ็นซีอย่างต่อเนื่องตลอดช่วงเวลาที่มเบคีเป็นประธานาธิบดี ซึ่งในบางงานที่ทั้งสองปรากฏตัวร่วมกัน แมนเดลามักโดดเด่นกว่ามเบคีเสมอ และเขาก็พอใจกับเจค็อบ ซูมา ซึ่งสืบทอดตำแหน่งจากมเบคี แม้มูลนิธิเนลสัน แมนเดลา จะไม่พอใจที่หลานของเขา มันดลา แมนเดลา เข้าไปร่วมกับแรลลี่สนับสนุนซูมาเมื่อปี 2009[159]