รางวัลนี้ริเริ่มมาตั้งแต่โอกาสครบรอบ 100 ปี ชาตกาลของอาเบล โดยนักคณิตศาสตร์ชาวนอร์เวย์ โซฟัส ลี (Sophus Lie) ได้มีแนวคิดให้มีการจัดตั้งรางวัลนี้ขึ้นหลังทราบว่ารางวัลโนเบลจะไม่มีสาขาคณิตศาสตร์ อย่างไรก็ตาม แนวคิดก็ถูกล้มเลิกไปหลังลีเสียชีวิตและการแยกตัวของสหภาพสวีเดน-นอร์เวย์

แนวคิดในการจัดตั้งรางวัลนี้ถูกเสนอขึ้นอีกครั้ง โดยในเดือนสิงหาคม ปี 2001 รัฐบาลนอร์เวย์ได้ประกาศว่ารางวัลอาเบลจะมีการมอบรางวัลเป็นครั้งแรกในปี 2002 เพื่อเป็นเกียรติแก่โอกาสครบรอบ 200 ปี ชาตกาลของอาเบล แต่มีพิธีมอบจริงๆ ในปี 2003 โดยนักคณิตศาสตร์ชาวฝรั่งเศส Jean-Pierre Serre เป็นผู้ที่ได้รับรางวัลนี้เป็นคนแรก (เขายังเป็นคนที่อายุน้อยที่สุดที่ได้รับรางวัลเหรียญฟิลด์สอีกด้วย)