คณิตศาสตร์โอลิมปิกจัดขึ้นครั้งแรกที่โรมาเนียใน พ.ศ. 2502 และจัดขึ้นทุกปีนับแต่นั้น ยกเว้น พ.ศ. 2523 ซึ่งถูกยกเลิกไปเนื่องจากการสู้รบภายในมองโกเลีย[6] เดิมถูกจัดตั้งขึ้นสำหรับประเทศยุโรปตะวันออกที่เข้าเป็นภาคีสมาชิกสนธิสัญญาวอร์ซอ ภายใต้กลุ่มอิทธิพลโซเวียต แต่หลังจากนั้นประเทศอื่น ๆ ก็เข้าร่วมแข่งขันด้วย[2] เนื่องจากการแข่งขันถือกำเนิดในยุโรปตะวันออก จึงทำให้คณิตศาสตร์โอลิมปิกช่วงแรก ๆ จัดขึ้นเฉพาะในประเทศยุโรปตะวันออกเท่านั้น ก่อนจะค่อย ๆ ทยอยจัดในประเทศอื่น[7]

แหล่งข้อมูลระบุนครที่ใช้จัดคณิตศาสตร์โอลิมปิกครั้งแรก ๆ ไว้ไม่เหมือนกัน ซึ่งบางส่วนอาจเป็นเพราะโดยทั่วไปผู้นำพำนักอยู่ไกลจากนักเรียน และบางส่วนเป็นเพราะหลังการแข่งขัน นักเรียนไม่อาศัยอยู่ในนครแห่งหนึ่งตลอดช่วงการแข่งขันคณิตศาสตร์โอลิมปิกที่เหลืออยู่เสมอไป วันที่แน่ชัดยังถูกระบุไม่เหมือนกันเช่นกัน เพราะผู้นำมาถึงก่อนนักเรียน และในการแข่งขันคณิตศาสตร์โอลิมปิกเมื่อไม่นานมานี้ คณะที่ปรึกษาคณิตศาสตร์โอลิมปิกมาถึงก่อนผู้นำ[8]

นักเรียนหลายคน เช่น คริสเตียน ไรเฮอร์ (Christian Reiher) ทำผลงานได้โดดเด่นในคณิตศาสตร์โอลิมปิก โดยได้เหรียญทองมาหลายเหรียญ ส่วนคนอื่น อย่างเช่น กรีกอรี มาร์กูลิส และกริกอรี เพเรลมาน ได้กลายมาเป็นนักคณิตศาสตร์ผู้มีชื่อเสียง ส่วนผู้เข้าแข่งขันอีกหลายคนยังได้รับรางวัล อย่างเช่น เหรียญฟิลด์ส[9]

เดือนมกราคม พ.ศ. 2554 กูเกิลมอบเงิน 1 ล้านดอลล่าร์สหรัฐ แก่องค์การคณิตศาสตร์โอลิมปิก เงินบริจาคดังกล่าวจะช่วยเป็นค่าใช้จ่ายขององค์การในอีกห้าปีข้างหน้า (ถึง พ.ศ. 2558)[10]