การตั้งถิ่นฐานครั้งแรกในพื้นที่ของจาการ์ตาในปัจจุบัน เท่าที่ปรากฏคือท่าเรือเกอลาปา (Kelapa) ซึ่งเอกสารไทยโบราณเรียกว่า กะหลาป๋า ใกล้ปากแม่น้ำจีลีวุง ซึ่งมีต้นกำเนิดมาจากถิ่นที่ตั้งของฮินดูตั้งแต่คริสต์ศตวรรษที่ 5 ในคริสต์ศตวรรษที่ 12 กะหลาป๋าเป็นท่าเรือใหญ่สำหรับราชอาณาจักรฮินดู ชื่อว่าซุนดา มีการบันทึกว่าชาวโปรตุเกสเป็นชาวยุโรปกลุ่มแรกที่ไปถึงกะหลาป๋า กษัตริย์ฮินดูทรงอนุญาตให้พ่อค้าชาวโปรตุเกสสร้างป้อมที่กะหลาป๋าในคริสต์ศตวรรษที่ 16 ตอนต้น ท่าเรือของจาการ์ตาในปัจจุบันยังคงมีชื่อว่า ซุนดาเกอลาปา (Sunda Kelapa) ตามชื่อถิ่นฐานยุคแรก

ในพ.ศ. 2070 เมืองถูกยึดครองโดยฟาตาฮิลลอฮฺหรือฟาเลเตฮาน (Fatahillah or Faletehan) ผู้นำอายุน้อยจากอาณาจักรใกล้เคียงจากทางเหนือ ฟาตาฮิลลอฮฺได้เปลี่ยนชื่อเมืองจากเกอลาปาเป็น จายาการ์ตา (Jayakarta แปลว่า "มีชัยและเจริญรุ่งเรือง" ในภาษาชวา) หรือตรงกับ "ชยะ - กฤต" ใน ภาษาสันสกฤต แปลว่า "ชัยชนะอันเกิดขึ้นสมบูรณ์แล้ว" เมื่อวันที่ 22 มิถุนายน พ.ศ. 2070 ซึ่งวันนี้ถือเป็นวันก่อตั้งกรุงจาการ์ตา ชื่อนี้เองที่ต่อมาได้กลายมาเป็นชื่อ จาการ์ตา ในปัจจุบัน

ชาวดัตช์เข้ามาถึงจายาการ์ตาในตอนปลายของคริสต์ศตวรรษที่ 16 ในพ.ศ. 2162 กองกำลังของบริษัทอินเดียตะวันออกของเนเธอร์แลนด์ (Dutch East India Company) นำโดยยัน ปีเตอร์โซน กุน (Jan Pieterszoon Coen) ยึดครองเมืองและเปลี่ยนชื่อจายาการ์ตาเป็นบาตาฟียา (Batavia) ซึ่งเป็นชื่อภาษาละตินของชนเผ่าที่อาศัยในเนเธอร์แลนด์ในสมัยโรมัน บาตาฟียาเป็นเมืองหลวงของอาณานิคมอินเดียตะวันออกของเนเธอร์แลนด์ (Dutch East Indies) ในต้นคริสต์ศตวรรษที่ 19 มีการขยายเมืองเมื่อชาวดัตช์เริ่มย้ายไปทางใต้ ไปที่พื้นที่สูงที่คาดว่ามีความอุดมสมบูรณ์กว่า ชาวอังกฤษยึดครองชวาใน พ.ศ. 2354 และครองอยู่ 5 ปีระหว่างที่เนเธอร์แลนด์ทำสงครามนโปเลียน (Napoleonic Wars) ในยุโรป ก่อนคืนให้ดัตช์

หลังจากที่การปกครองโดยตรงของเนเธอร์แลนด์ขยายไปทั่วทั้งหมู่เกาะในคริสต์ศตวรรษที่ 19 และ 20 ตอนต้น ความสำคัญของบาตาฟียาได้เพิ่มขึ้น กลยุทธ์ของดัตช์ที่จะยังคงอำนาจและรายได้ภาษี ทำให้การส่งออกจากพื้นที่ใด ๆ ในภูมิภาคแทบทั้งหมดจะต้องผ่านบาตาฟียา ทำให้เมืองมีความสำคัญทางด้านการเมืองและเศรษฐกิจตราบจนถึงปัจจุบัน

ประเทศญี่ปุ่นยึดครองบาตาฟียาในพ.ศ. 2485 ระหว่างสงครามโลกครั้งที่ 2 และเปลี่ยนชื่อเมืองโดยกลับมาใช้ชื่อ จาการ์ตา เพื่อให้ได้รับการยอมรับจากคนในท้องถิ่น หลังจากที่ญี่ปุ่นพ่ายแพ้สงครามใน พ.ศ. 2488 กองกำลังชาวดัตช์กลับเข้ายึดครองเมืองอีกครั้งหนึ่ง ทั้ง ๆ ที่ชาวอินโดนีเซียได้ประกาศเอกราชไปก่อนแล้วในช่วงปลายสงคราม เมื่อวันที่ 17 สิงหาคม พ.ศ. 2488 จาการ์ตาเป็นศูนย์กลางของความพยายามของชาวดัตช์ที่จะยังคงอำนาจเหนืออาณานิคมเดิมระหว่างสงครามเอกราชอินโดนีเซีย ซึ่งยุติลงด้วยการรับรองการก่อตั้งสาธารณรัฐอินโดนีเซียเต็มรูปแบบเมื่อ พ.ศ. 2492