กลุ่มผู้ก่อตั้งมหาวิทยาลัยฮาร์วาร์ดดคือ คณะนักบวชที่เรียกตนเองว่า "เพียวริตัน" ซึ่งอพยพมาจากประเทศอังกฤษโดยได้มีตั้งวิทยาลัยขึ้นมา มีจุดประสงค์ที่จะสร้างนักบวชเพื่อให้สามารถเผยแพร่ศาสนาตามแนวทางของลัทธิของตนได้ โดยเริ่มต้นในชื่อว่า "เดอะ นิว คอลเลจ" (The New College) ในปี พ.ศ. 2179 (ค.ศ. 1636) และได้เปลี่ยนมาใช้ชื่อ วิทยาลัยฮาร์วาร์ด (Harvard College) เมื่อ 13 มีนาคม พ.ศ. 2182 (ค.ศ. 1639) ซึ่งตั้งชื่อเป็นเกียรติแก่ จอห์น ฮาร์วาร์ด นักบวชเพียวริแตนท่านหนึ่ง ซึ่งสำเร็จการศึกษาจากวิทยาลัยเอมมานูเอล (Emmanuel College) ของมหาวิทยาลัยเคมบริดจ์ ผู้ได้ทำพินัยกรรมบริจาคหนังสือจำนวนประมาณ 400 เล่มและเงินจำนวนหนึ่งที่ไม่มากนักแก่ทางวิทยาลัย และในปี พ.ศ. 2323 (ค.ศ. 1780) วิทยาลัยได้เปลี่ยนเป็นมหาวิทยาลัย ในชั้นแรกนั้นวิทยาลัยมีครูเพียงคนเดียว และมีนักเรียนชุดแรก 12 คน โดยเป็นลักษณะโรงเรียนกินนอน

มหาวิทยาลัยฮาร์วาร์ดเริ่มเข้าสู่ยุคของความเป็นมหาวิทยาลัยสมัยใหม่ภายใต้การบริหารของ อธิการบดี ชาร์ล วิลเลียม อีเลียต (Charles William Eliot) ในระหว่างปี ค.ศ. 1869-1909 โดยอธิการบดีอีเลียต ได้เริ่มนำระบบวิชาเลือก การใช้ระบบหน่วยกิต การสอบคัดเลือก เข้ามาใช้กับมหาวิทยาลัย