อาเจะฮ์เคยเป็นรัฐอิสระที่มีบทบาททางการค้าและการเดินเรือระหว่างประเทศ อาเจะฮ์เริ่มรับศาสนาอิสลามจากชวาในราวพุทธศตวรรษที่ 13 และได้สถาปนาการปกครองแบบสุลต่านขึ้นที่เมืองบันดาอาเจะฮ์ อาเจะฮ์มีอำนาจมากในสมัยสุลต่านอาลี มูตคายัต ซะห์ ที่ครองราชย์ระหว่าง พ.ศ. 2057 – 2073 ที่ได้ทำให้อาเจะฮ์เป็นศูนย์กลางทางการค้าแทนมะละกาที่ถูกโปรตุเกสโจมตี เมื่อ พ.ศ. 2044 และพระองค์ยังทำสงครามต่อต้านโปรตุเกสที่พยายามเข้ายึดครองเมืองปาไซ และได้ขยายอำนาจเข้าครอบครองดินแดนส่วนอื่นของสุมาตรา และบางส่วนในคาบสมุทรมลายู ยุคทองของอาเจะฮ์ที่มีความรุ่งเรืองมากตชคือในสมัยสุลต่านอิสกันดาร์ มุดา ที่ข้ามไปยึดครองยะโฮร์และเปรักได้ และกลายเป็นศูนย์กลางของศาสนาอิสลามในเอเชียตะวันออกเฉียงใต้ ที่เรียกว่า ประตูทางตะวันออกที่เปิดสู่มักกะฮ์

อาเจะฮ์เริ่มตกต่ำลงหลังจากเนเธอร์แลนด์เข้ามายึดครองมะละกาเมื่อ พ.ศ. 2184 ประกอบกับในอาเจะฮ์มีความขัดแย้งระหว่างขุนนางท้องถิ่นกับสุลต่าน เนเธอร์แลนด์เข้ามาแทรกแซงโดยสนับสนุนให้ชาวมีนังกาเบาแยกตัวออกมาจากอาเจะฮ์ รัฐทางคาบสมุทรมลายู เช่น ยะโฮร์ก็เริ่มแข็งข้อกับอาเจะฮ์ และได้รับผลกระทบจากการเข้าครอบครองปีนังและสิงคโปร์ของอังกฤษ ทำให้อิทธิพลทางการเมืองและเศรษฐกิจของอาเจะฮ์ลดลง

ในที่สุดเนเธอร์แลนด์ได้ทำสงครามอาเจะฮ์เพื่อยึดอาเจะฮ์เป็นอาณานิคม การสู้รบเริ่มขึ้นใน พ.ศ. 2416 และยึดเมืองบันดาอาเจะฮ์ได้ใน พ.ศ. 2420 แต่ก็ยังคงสู้รบแบบกองโจรต่อไป แม้ว่าสุลต่านจะยอมจำนนใน พ.ศ. 2446 เมื่อสงครามโลกครั้งที่สองสิ้นสุดลง และอินโดนีเซียได้รับเอกราช แต่อาเจะฮ์ก็ยังมีการปฏิวัติต่อต้านรัฐบาลกลางระหว่าง พ.ศ. 2496–2502 นำโดยพวกอูลามา แม้จะมีสถานภาพเป็นเขตการปกครองพิเศษตั้งแต่ พ.ศ. 2502 แต่ก็ยังมีกองกำลังที่ต้องการแยกตัวเป็นอิสระคือขบวนการอาเจะฮ์เสรีจนถึง พ.ศ. 2548

ปัจจุบันจังหวัดอะเจะฮ์เป็นจังหวัดเดียวที่บังคับใช้กฎหมายชารีอะห์ ซึ่งเป็นส่วนหนึ่งของข้อยินยอมจากรัฐบาลกลาง