แอนโดเวอร์ได้มีสมาคมลับหลายกลุ่มมาเป็นเวลายาวนานตั้งแต่เริ่มก่อตั้งโรงเรียน ในอดีตกลุ่มเหล่านี้เป็นที่รู้โดยทั่วไป ใช้ตึกเรียนต่าง ๆ เป็นที่ประชุมหรือทำกิจกรรม ในปีช่วง 1940-1949 กลุ่มดังกล่าวถูกเพ่งเล็งและถูกวิจารณ์อย่างหนัก เนื่องจากมีการเหยียดเชื้อชาติ การกลั่นแกล้งที่รุนแรง และผลการเรียนที่ตกต่ำของสมาชิกกลุ่ม ในปี 1949 ผู้อำนวยการเคมเปอร์ตัดสินใจสลายสมาคมทั้งหมด

แม้ว่าสมาคมทั้งหมดจะจบสิ้นอย่างเป็นทั้งการในปี 1949 ในปัจจุบันก็ยังคงมีอยู่ เนื่องจากปรากฏว่า ช่วงสัปดาห์สุดท้ายของภาคการเรียน (ซึ่งมีการสอบปลายภาคเรียน) เมื่อปี 2010 มีอ่างอาบน้ำหลังหนึ่ง เต็มไปด้วยเครื่องดื่มกระป๋อง ตั้งไว้ตรงเฉลียงของห้องสมุด เป็นผลงานของสมาคมลับชายล้วน ชื่อ TUB (Truth, Unity, Brotherhood) [9] สมาคมลับหญิงล้วนชื่อ MSAS (Madame Sarah Abbot Society) ก็ยังคงมีอยู่เช่นกัน [10]