มหาวิทยาลัยโคลัมเบียเป็นมหาวิทยาลัยที่เก่าแก่ที่สุดในรัฐนิวยอร์ก ก่อตั้งในชื่อของวิทยาลัยคิงส์ (King's College) เมื่อพ.ศ. 2297 เก่าแก่เป็นอันดับ 6 ของสหรัฐอเมริกา (ตามวันที่ก่อตั้ง อันดับที่ 5 ตามวันที่ได้รับอนุญาต) ภายหลังการปฏิวัติสหรัฐอเมริกา วิทยาลัยคิงส์ได้เปลี่ยนชื่อเป็นวิทยาลัยโคลัมเบียก่อนจะเป็นมหาวิทยาลัยโคลัมเบียในพ.ศ.ปี 2327 และ 2439 ตามลำดับ โคลัมเบียเติบโตขึ้นเรื่อยๆ กระทั่งปัจจุบัน ซึ่งประกอบไปด้วยสถาบันมากถึง 20 สถาบัน

วิทยาลัยคิงส์ (King's College) : 2297-2319

การพิจารณาจัดตั้งมหาวิทยาลัยในนิวยอร์กเริ่มขึ้นในราวปี 2257 แต่มาเริ่มเป็นรูปเป็นร่างในช่วงศตวรรษที่ 176 ในยุคที่นักศึกษาที่สำเร็จการศึกษาจากมหาวิทยาลัยเยลและสมาชิกของกลุ่มศาสนาในนิวยอร์ก (ขณะนั้นคือ Church of England ปัจจุบันคือ Episcopal) เริ่มตื่นตัวเมื่อทราบข่าวการก่อตั้งวิทยาลัยนิวเจอร์ซี (ปัจจุบันคือมหาวิทยาลัยพรินซ์ตัน) ทั้งสองกลุ่มเห็นว่าวิทยาลัยนิวเจอร์ซีก่อตั้งโดยกลุ่มศาสนา new-light Presbyterians ซึ่งมีนิกาย the evangelical Great Awakening สนับสนุน ทั้งยังตั้งอยู่ในท้องที่ ตรงข้ามแม่น้ำฮัตสัน ด้วยเกรงว่านิวยอร์กจะเป็นเมืองด้อยพัฒนาทั้งทานด้านศิลปะและวิทยาการ พวกเขาจึงร่วมกันก่อตั้งสถาบันริมแม่น้ำของพวกเขาในชื่อวิทยาลัยคิงส์ (King's College) มีนายซามูเอล จอห์นสัน (Samuel Johnson) ดำรงตำแหน่งอธิการบดีคนแรก เริ่มเปิดการเรียนการสอนในวันที่ 17 กรกฎาคม 2297 ในโบสถ์ซึ่งมีนายซามูเอลดูแลเพียงคนเดียวเท่านั้น จากนั้นไม่นาน วันที่ 31 ตุลาคมปีเดียวกัน สมเด็จพระเจ้าจอร์ชที่ 2 แห่งสหราชอาณาจักรได้พระราชทานงบสนับสนุนให้แก่วิทยาลัยคิงส์ ต่อมาในปี 2303 วิทยาลัยคิงส์ย้ายไปตั้งในพื้นที่ของตนเองในปาร์คเพลส (Park Place) ใกล้กับศาลากลาง และในปี 2310 วิทยาลัยได้ก่อตั้งสถาบันแพทย์ขึ้นเป็นแห่งแรกโดยเปิดสอนในระดับบัณฑิตศึกษา