กลุ่มเจไอมีวิวัฒนาการมาจากกลุ่มดารุลอิสลามในอินโดนีเซียซึ่งต้องการสถาปนารัฐอิสลามในช่วงหลังสงครามโลกครั้งที่ 2 โดยมี เซกามัดยี มาริดจัน กาโตสุวิรโจเป็นผู้นำในขณะนั้น อย่างไรก็ตามกลุ่มชาตินิยมของซูการ์โนเป็นกลุ่มที่ได้ก่อตั้งประเทศอินโดนีเซียสำเร็จ กลุ่มดารุลอิสลามเป็นฝ่ายพ่ายแพ้และถูกฝ่ายรัฐบาลปราบปราม

กลุ่มดารุลอิสลามยังคงเคลื่อนไหวก่อความไม่สงบในหลายพื้นที่ระหว่าง พ.ศ. 2501 – 2512 โดยเขตพื้นที่หลักเป็นบริเวณอาณาจักรมัชปาหิตเดิมคือเกาะชวาตอนกลางและตะวันตกรวมทั้งสุมาตราตอนล่างและเกาะซูลาเวซี

อับดุลลา อาหมัด ซุงกาและเพื่อนของเขาคือ นายอาบูบาการ์ บาชีร์ หรือ นายอาบู บาการ์ บาเชียร์ เป็นผู้เลื่อมใสแนวคิดดารุลอิสลามและเป็นผู้ก่อตั้งขบวนการเจไอในเวลาต่อมา ทั้งคู่ได้ตั้งโรงเรียนสอนศาสนาอิสลามขึ้นเมื่อ พ.ศ. 2514 และได้ตั้งเครือข่ายเยาวชนขึ้นดำเนินการ จนกระทั่งเกิดเหตุระเบิดที่เมืองตันหยงปริอ็อกเมื่อ พ.ศ. 2527 ที่ทั้งคู่อยู่เบื้องหลัง ทั้งซุงกาและบาชีร์หนีไปมาเลเซียเมื่อ พ.ศ. 2528 และได้ตั้งขบวนการเจไอเต็มรูปแบบขึ้นที่นี่

เริ่มแรกทั้งคู่เปิดโรงเรียนสอนศาสนาชื่ออัลตาบิยะห์ ลุกมานุลอาดัมในรัฐยะโฮร์เพื่อเป็นศูนย์บัญชาการ ซุงกาเปลี่ยนชื่อเป็นอับดุล ฮาลิม ส่วนบาชีร์เปลี่ยนชื่อเป็นอับดุล ซามัด โดยมีกลุ่มมวลชนเป็นแรงงานชาวอินโดนีเซียและชาวมาเลเซียบางส่วน โรงเรียนนี้เป็นสถานที่ฝึกและคัดเลือกเยาวชนไปฝึกวิชาทหารที่เมืองการาจี ประเทศปากีสถาน รวมทั้งเข้ารบในสมรภูมิจริงในอัฟกานิสถาน

เมื่อยุคของรัฐบาลซูฮาร์โตสิ้นสุดลงใน พ.ศ. 2541 ซุงกาและบาชีร์เดินทางกลับอินโดนีเซีย ซุงกาถึงแก่กรรมแล้วด้วยโรคชราส่วนบาชีร์ยังเป็นผู้นำทางจิตวิญญาณต่อไป