พระอัญญาโกณฑัญญะ เป็นพระเถระผู้เฒ่า ไม่ชอบคลุกคลีด้วยหมู่คณะ ชอบหลีกเร้นอยู่ในสถานที่อันสงบวิเวกตามลำพัง ในคัมภีร์มโนรถปูรณี และคัมภีร์ธุรัตวิลาสินี กล่าวไว้ตรงกันว่า เป็นเวลา 12 ปี ก่อนที่ท่านจะนิพพานท่านได้กราบทูลลาพระบรมศาสดาไปจำพรรษา ณ ป่าหิมพานต์ ตามลำพัง นอกจากต้องการความสงบดังกล่าวแล้ว ยังมีเหตุผลส่วนตัวของท่าน อีก 3 ประการคือ

1. ท่านไม่ประสงค์จะเห็นพระอัครสาวก คือ พระสารีบุตรเถระ และพระมหาโมคคัลลานเถระ ผู้เป็นกำลังสำคัญในการช่วยแบ่งเบาภาระของพระพุทธองค์ กิจการพระศาสนาด้านต่าง ๆ ที่ต้องมาแสดงความเคารพนอบน้อมต่อพระผู้เฒ่าชราอย่างท่าน ซึ่งสังขารนับวันจะร่วงโรยและใกล้แตกดับเข้าไปทุกขณะ
2. ท่านได้รับความเหน็ดเหนื่อยอย่างมาก ที่ต้องคอยต้อนรับผู้ไปมาหาสู่ ซึ่งมีทั้งบรรพชิตและคฤหัสถ์ การอยู่ในเสนาสนะใกล้บ้านจึงไม่เหมาะสมสำหรับพระแก่ชราอย่างท่าน
3. ท่านเบื่อหน่ายในความดื้อรั้น ของพระสัทธิวิหาริกรุ่นหลัง ๆ ที่มักประพฤตินอกลู่นอกทาง ห่างไกลจากการบรรลุมรรคผล

ท่านได้อยู่จำพรรษา ในป่าหิมพานต์ บริเวณใกล้สระฉัททันต์ เป็นเวลานาน 12 ปี วันที่ท่านจะนิพพาน ท่านพิจารณาอายุสังขารแล้ว ได้มาเฝ้าพระพุทธองค์ เพื่อกราบทูลลานิพพาน ครั้นพระพุทธองค์ประทานอนุญาตแล้ว ท่านเดินทางกลับยังป่าหิมพานต์ และนิพพานในบรรณศาลาที่พักริมสระฉัททันต์นั้น พระผู้มีพระภาคพร้อมด้วยพระสงฆ์สาวกจำนวนมาก ได้เสด็จไปทำฌาปนกิจศพให้ท่าน