ทางรถไฟสายแรกในอินโดนีเซีย เปิดใช้งานเมื่อ ค.ศ. 1867 ต่อมาได้มีการขยายเส้นทางทั้งสายของรัฐและสายของเอกชน

จากการยึดครองของญี่ปุ่นและการทำสงครามประกาศเอกราช ส่งผลให้สภาพทางรถไฟอยู่ในสภาพที่แย่มาก ใน ค.ศ. 1950 ได้มีการซื้อรถจักรไอน้ำ 100 คันเข้ามาใช้งาน ต่อมาใน ค.ศ. 1953 ได้สั่งซื้อรถจักรดีเซลไฟฟ้าคันแรกจากสหรัฐอเมริกา และมีรถจักรดีเซลไฟฟ้าครอบคลุมทั่วประเทศในช่วง ค.ศ. 1980 ส่วนรถไฟฟ้าได้สั่งซื้อมาจากประเทศญี่ปุ่นใน ค.ศ. 1970 เพื่อใช้แทนที่รถจักรไฟฟ้าที่ใช้งานมากว่า 60 ปี

ในช่วงแรก ๆ หลังประกาศเอกราช ทางรถไฟทุกสายควบคุมโดยรัฐบาล ต่อมาได้มีการก่อสร้างทางรถไฟหลายสายมากขึ้น ทั้งทางเดี่ยว ทางคู่ และทางสี่ ในอดีตเคยมีรถรางให้บริการ แต่ได้ถูกยกเลิก ทำให้ระยะทางของรางจาก 7,000 กิโลเมตร ลดลงเหลือเพียง 3,000 กิโลเมตร