เดิมทีถ้ำบาตูเป็นถ้ำตามธรรมชาติที่มีบันทึกการเข้ามาหาและเก็บกวาโน กระทั่งถ้ำบาตูกลายมาเป็นศาสนสถานโดยเค. ตัมพูสามี ปิลไล พ่อค้าชาวทมิฬอินเดีย ผู้ที่ก่อนหน้าได้สร้างศรีมหามริอัมมันเทวาลัยในกัวลาลัมเปอร์ สังเกตเห็นทางเข้าถ้ำที่เป็นรูปคล้าย อักษรวี และเกิดความประสงค์จะสร้างเป็นเทวาลัยบูชาพระชันธกุมาร ในปี 1890 ได้อัญเชิญมูรติ (เทวรูป) ของศรีมุรุคันสวามี (พระชันธกุมาร) ขึ้นประดิษฐานในถ้ำที่ปัจจุบันเรียกว่า ถ้ำเทวาลัย (Temple Cave) นับตั้งแต่ปี 1892 ได้มีการจัดเทศกาลไตปูสัม (Thaipusam) ประจำปีชึ้นที่นี่เรื่อยมา

ในปี 1920 ได้มีการสร้างบันไดไม้ขึ้นไปยังบนเทวาลัย และในคริสต์ทศวรรษ 1930 บันไดดังกล่าวเริ่มสึกหรอตามกาลเวลา ผู้บริหารเทวาลัยในเวลานั้น รามจันทรัน ไนฑู (Ramachandran Naidu) เสนอโครงการสร้างบันไดคอนกรีต โครงการได้รับอนุมัติในปี 1939 และก่อสร้างเสร็จในปี 1940 ไม่นานก่อนถึงเทศกาลไตปูสัมในปีนั้น[3] ปัจจุบันบันไดคอนกรีตขึ้นถ้ำมีจำนวน 272 ขั้น

ในเดือนสิงหาคม 2018 ได้เริ่มต้นทาสีบันไดทั้ง 272 ขั้น แต่ละขั้นเป็นสีต่าง ๆ กัน ทันทีเมื่อทาสีเสร็จ เทวาลัยถูกเจ้าหน้าที่รัฐแจ้งว่าการตกแต่งทาสีนี้อาจขัดต่อกฎหมายที่คุ้มครองถ้ำบาตูในฐานะโบราณสถานของรัฐ[4][5]