เชิมเกนต์ก่อตั้งขึ้นในคริสต์ศตวรรษที่ 12[6] เพื่อใช้เป็นสถานีคาราวานประจำเมืองไซรัม ซึ่งเป็นเมืองการค้าในเส้นทางสายไหม ซึ่งตั้งอยู่ห่างออกไป 10 กิโลเมตรทางทิศตะวันออก ซึ่งต่อมาได้กลายเป็นศูนย์กลางการค้าระหว่างกลุ่มชนเร่ร่อนชาวเตอร์กิกและพ่อค้าชาวซอกเดียซึ่งตั้งถิ่นฐานบริเวณนี้ เชิมเกนต์ถูกรุกรานหลายครั้ง ทั้งโดยเจงกิส ข่าน โดยกลุ่มชาวข่านถิ่นใต้ และโดยกลุ่มชนเร่ร่อน เชิมเกนต์ถูกผนวกรวมเป็นส่วนหนึ่งของรัฐข่านโกกันด์ในช่วงต้นคริสต์ศตวรรษที่ 19 ก่อนจะถูกผนวกรวมเข้าเป็นส่วนหนึ่งของจักรวรรดิรัสเซียใน ค.ศ. 1864[7] ในช่วงระหว่าง ค.ศ. 1914 และ ค.ศ. 1924 เชิมเกนต์เปลี่ยนชื่อเป็น "เชียร์เนียเอฟ" (รัสเซีย: Черняев; อังกฤษ: Chernyaev) หลังจากตกเป็นของจักรวรรดิรัสเซียแล้ว เชิมเกนต์ก็ยังคงมีความสำคัญในฐานะเมืองศูนย์กลางการค้าระหว่างชาวเตอร์กิกเร่ร่อนและชาวเตอร์กิกที่ตั้งถิ่นฐาน และมีผลิตภัณฑ์ขึ้นชื่ออย่างหนึ่งได้แก่คูมิส หรือนมเปรี้ยวที่ทำจากน้ำนมของม้า[8] ในเวลาต่อมา หลังจากเกิดการปฏิวัติรัสเซียซึ่งทำให้จักรวรรดิรัสเซียเปลี่ยนฐานะเป็นสหภาพโซเวียต มีการจัดตั้งสาธารณรัฐต่าง ๆ และเปลี่ยนแปลงเขตแดนอยู่บ่อยครั้ง จนกระทั่งใน ค.ศ. 1956 เชิมเกนต์กลายเป็นส่วนหนึ่งของสาธารณรัฐสังคมนิยมโซเวียตคาซัค ก่อนที่จะกลายเป็นส่วนหนึ่งของประเทศคาซัคสถานหลังจากสหภาพโซเวียตล่มสลายในที่สุด

ใน ค.ศ. 2016 ประธานาธิบดีนูร์ซุลตัน นาซาร์บายิฟแสดงความตั้งใจที่จะให้เชิมเกนต์กลายเป็นมหานครแห่งที่สามของประเทศ โครงการก่อสร้างต่าง ๆ ได้ริเริ่มขึ้นบริเวณทางเหนือของเมือง[9]