นายกษิต ภิรมย์เข้ารับการศึกษาชั้นต้นที่โรงเรียนกรุงเทพคริสเตียน แล้วจึงไปศึกษาต่อในระดับมัธยมศึกษาตอนปลายที่ St. Joseph College เมืองดาร์จีลิง ประเทศอินเดีย หลังจากนั้น จึงกลับเข้ามาศึกษาต่อในระดับอุดมศึกษาที่คณะรัฐศาสตร์ จุฬาลงกรณ์มหาวิทยาลัย นายกษิตเข้ารับการศึกษาที่จุฬาลงกรณ์มหาวิทยาลัยเพียงระยะเวลาหนึ่งและได้สมัครไปศึกษาระดับปริญญาตรีด้าน International Affairs ที่ School of Foreign Service, มหาวิทยาลัยจอร์จทาวน์ (Georgetown University) สหรัฐอเมริกา หลังจากนั้น นายกษิตได้เข้ารับการศึกษาด้านความสัมพันธ์ระหว่างประเทศที่ Institute of Social Studies เนเธอร์แลนด์ และ วิทยาลัยป้องกันราชอาณาจักร รุ่นที่ 32[4][3]