ภายหลังจากพิธีถวายพระเพลิงพระพุทธสรีระแล้ว พระมหากัสสปเถระเจ้าได้ดำริจะให้มีการทำปฐมสังคายนาพระธรรมวินัย พระมหาเถระได้รับอนุมัติจากสงฆ์ให้เลือกพระภิกษุผู้เชี่ยวชาญในพระธรรมวินัย จำนวน 500 รูป เพื่อทำปฐมสังคายนา ท่านพระมหากัสสปเถระเลือกได้ 499 รูปอีกรูปหนึ่งท่านไม่ยอมเลือก ความจริงท่านต้องการจะเลือกเอาท่านพระอานนท์ แต่ขณะนั้นท่านพระอานนท์ยังไม่ได้เป็นพระอรหันต์ ครั้นจะเลือกท่านพระอานนท์ก็เกรงจะถูกครหาว่า "เห็นแก่หน้า" เพราะท่านรักพระอานนท์มาก แต่ครั้นจะเลือกภิกษุอื่น ไม่เลือกท่านพระอานนท์ ก็เกรงว่าการทำสังคายนาครั้งนี้จักไม่สำเร็จผลด้วยดี เพราะท่านพระอานนท์ได้รับยกย่องจากพระพุทธองค์ว่าเป็นพหุสูต เป็นธรรมภัณฑาคาริก จึงได้ระบุชื่อพระเถระอื่นๆ 499 รูป แล้วนิ่งเสีย ต่อเมื่อพระสงฆ์ลงมติว่าท่านพระอานนท์ควรจะเข้าร่วมทำสังคายนาครั้งนี้ด้วย ท่านจึงได้รับเข้าเป็นคณะสงฆ์ผู้จะทำสังคายนา ครบจำนวน 500 รูป

เมื่อได้รับคัดเลือกแล้ว ท่านได้เดินทางจากนครกุสินารากลับไปยังนครสาวัตถีอีก ในระหว่างทางท่านได้แสดงพระธรรมเทศนาแก่ประชาชนจำนวนมากที่เศร้าโศกเสียใจในการปรินิพพานของพระพุทธองค์ เมื่อถึงพระเชตวันมหาวิหาร ท่านก็ได้ปฏิบัติปัดกวาดพระคันธกุฏีเสมือนเมื่อพระพุทธองค์ยังทรงพระชนม์อยู่ นอกจากปฏิบัติพระคันธกุฏีแล้ว ท่านได้ใช้เวลาส่วนมากให้หมดไปด้วยการยืนและนั่ง ไม่ค่อยจะได้จำวัด ด้วยเหตุนี้เองจึงทำให้ท่านไม่สบาย ต้องฉันยาระบายเพื่อให้กายเบา ครั้นให้ปฏิสังขรณ์เสนาสนะที่ชำรุดในพระเชตวันสำเร็จแล้ว พอใกล้วันเข้าพรรษาจึงได้ออกเดินทางไปสู่กรุงราชคฤห์ เพื่อร่วมทำสังคายนา เมื่อถึงแล้ว ท่านได้ทำความเพียรอย่างหนักเพื่อให้สำเร็จอรหัตตผลก่อนการทำสังคายนาแต่ก็ยังไม่สำเร็จ เพื่อน ๆ ได้ตักเตือนท่านว่า ในวันรุ่งขึ้นท่านจะต้องเข้าไปนั่งในสังฆสันนิบาตแล้ว ท่านเองเป็นพระเสขบุคคลอยู่ ขอให้ทำความเพียร อย่าประมาท ในคืนนั้น ท่านได้เดินจงกรม กำหนดกายคตาสติ จนจวบปัจจุสมัยใกล้รุ่ง จึงลงจากที่จงกรม หมายใจจะหยุดนอนพักผ่อนในวิหารสักครู่ก่อน เพราะท่านปรารภความเพียรเท่าไหร่ก็ยังไม่สิ้นอาสวะซักที แต่พอเอนกายลงนอน ศีรษะยังไม่ทันถึงหมอนและเท้าทั้งสองยังไม่พ้นจากพื้น ก็ได้สำเร็จเป็นพระอรหันต์ ในอิริยาบถที่ไม่ได้ ยืน เดิน นั่ง นอน

ครั้นถึงเวลาประชุมทำสังคายนา พระมหาเถระรูปอื่น ๆ ก็พากันไปยังธรรมสภา ณ ถ้ำสัตตบรรณคูหา เขตเมืองราชคฤห์ กันอย่างพร้อมเพรียง และต่างรูปต่างก็นั่งอยู่ ณ อาสนะของตน ๆ แต่อาสนะของท่านพระอานนท์ยังว่างอยู่ เพราะท่านพระอานนท์คิดใคร่จะประกาศให้พระมหาเถระทั้งหลายได้ทราบว่า ท่านได้สำเร็จเป็นพระอรหันต์แล้ว จึงไม่ได้ไปพร้อมกับพระเถระอื่น ๆ เมื่อกำหนดกาลเวลาพอเหมาะแล้ว ท่านจึงแทรกดินลงไป และผุดขึ้น ณ อาสนะแห่งตน แต่บางท่านกล่าวว่า ท่านเหาะไปทางอากาศตกลงบนอาสนะของท่าน