วิทยาลัยฟิลลิปส์ก่อตั้งขึ้นระหว่าง สงครามปฏิวัติอเมริกา ในปี 1778 โดยซามูเอล ฟิลลิปส์ จูเนียร์ แรกเริ่มเป็นโรงเรียนชายล้วน ตราสัญลักษณ์ประจำโรงเรียนออกแบบโดย พอล รีเวียร์ โรงเรียนคู่แข่งของวิทยาลัยฟิลลิปส์คือ ฟิลิปปส์ เอ็กซีเตอร์ อแคเดมี่ในเมือง เอ็กซีเตอร์ รัฐ นิวแฮมเชียร์ โดยทีมอเมริกาฟุตบอลของทั้งสองโรงเรียนจะแข่งขันกันเป็นประจำเกือบทุกปีตั้งแต่ปี 1878