ปราสาทหินพนมรุ้งเป็นโบสถ์พราหมณ์ลัทธิไศวะ มีการบูรณะก่อสร้างต่อเนื่องกันมาหลายสมัย ตั้งแต่ประมาณพุทธศตวรรษที่ 15 ถึงพุทธศตวรรษที่ 17 และในพุทธศตวรรษที่ 18 พระเจ้าชัยวรมันที่ 7 แห่งอาณาจักรขะแมร์ได้หันมานับถือศาสนาพุทธนิกายมหายาน เทวสถานแห่งนี้จึงได้รับการดัดแปลงเป็นวัดมหายาน ในช่วงแรกปราสาทหินพนมรุ้ง สร้างขึ้นจากหินทรายสีชมพู ตั้งอยู่บนยอดเขาพนมรุ้งสูง 1,320 ฟุตจากระดับน้ำทะเล ชื่อพนมรุ้งแปลว่าภูเขาใหญ่ สันนิษฐานว่าสร้างขึ้นในพุทธศตวรรษที่ 15-18

จารึกต่าง ๆ ที่นักวิชาการได้อ่านและแปลพอจะสรุปได้ว่า พระเจ้าราเชนทรวรมันที่ 3 กษัตริย์แห่งพระนคร (พ.ศ. 1487-1511) ได้สถาปนาเทวสถานถวายพระศิวะที่เขาพนมรุ้ง ซึ่งในสมัยแรก ๆ คงยังไม่ใหญ่โตนัก ต่อมาพระเจ้าชัยวรมันที่ 5 (พ.ศ. 1511-1544) ได้ทรงอุทิศที่ดินและข้าทาสถวายแด่เทวสถานพนมรุ้ง ในสมัยพุทธศตวรรษที่ 17 นเรนทราทิตย์ เจ้านายแห่งราชวงศ์มหิธรปุระที่ปกครองดินแดนแถบนี้ (ซึ่งเป็นต้นตระกูลของพระเจ้าสุริยวรมันที่ 2 ผู้สร้างนครวัด) ได้สร้างปราสาทแห่งนี้ขึ้นและได้ทรงบำเพ็ญพรตเป็นโยคี ณ ปราสาทพนมรุ้ง