จากหลักฐานที่ปรากฏแสดงให้เห็นว่า พระปรางค์สามยอดสร้างขึ้นเพื่อเป็นพุทธสถานในลัทธิวัชรยานประจำเมืองละโว้ เพื่อประดิษฐานรูปพระวัชรสัตว์นาคปรก พระโลกิเตศวร และพระนางปรัชญาปารมิตา อันเป็นรูปเคารพที่นิยมสร้างขึ้นในพุทธศาสนาลัทธิวัชรยานในรัชกาลของพระเจ้าชัยวรมันที่ 7 ซึ่งเป็นช่วงระยะเวลาที่พุทธศาสนาลัทธิวัชรยานเจริญรุ่งเรืองอย่างมากในอาณาจักรเขมร เทียบได้กับศาสนาประจำอาณาจักรภายใต้พระราชูปถัมภ์ของพระองค์ ดังจารึกปราสาทพระขรรค์ที่กล่าวถึงพระเจ้าชัยวรมันที่ 7 ว่า หลังทรงครองราชย์ได้ 10 ปี ได้ทรงสร้างเทวรูปทำด้วยทองคำ เงิน สัมฤทธิ์ และศิลา เพื่อส่งไปพระราชทานยังเมืองต่าง ๆ ในราชอาณาจักรของพระองค์เป็นจำนวนถึง 20,400 องค์ และทรงส่งพระชัยพุทธมหานาถ ซึ่งเป็นพระพุทธรูปนาคปรกทรงเครื่องอีก 23 องค์ไว้ตามเมืองใหญ่ ๆ ในอาณาจักร เช่นที่ “ละโว้ทยปุระ” (จังหวัดลพบุรี) “สุวรรณปุระ” (จังหวัดสุพรรณบุรี) “ศัมพูกปัฏฏนะ” (เมืองหนึ่งในภาคกลางของประเทศไทย) “ชยราชบุรี” (จังหวัดราชบุรี) “ชยสิงหบุรี” (เมืองสิงห์ จังหวัดกาญจนบุรี) “ชยวัชรบุรี” (จังหวัดเพชรบุรี) ซึ่งในขณะนั้นเมืองละโว้ในรัชสมัยของพระองค์ก็มีศักดิ์เป็นเมืองลูกหลวงของอาณาจักรเขมรด้วย ดังปรากฏในจารึกของอาณาจักรเขมรว่า เจ้าชายอินทรวรมัน (ต่อมา คือ พระเจ้าอินทรวรมันที่ 2) พระราชโอรสของพระเจ้าชัยวรมันที่ 7 กับพระนางชัยราชเทวี ทรงครองเมือง “ละโว้”[7]

ต่อมาหลังการล่มสลายของพุทธศาสนาลัทธิวัชรยานในอาณาจักรเขมร พระปรางค์สามยอดจึงได้รับการดัดแปลงให้เป็นพุทธสถานในนิกายเถรวาท ดังเห็นได้จากการสร้างวิหารเชื่อมต่อกับปราสาทประธานในรัชสมัยสมเด็จพระนารายณ์ ซึ่งทรงสร้างพระนารายณ์ราชนิเวศน์และบูรณปฏิสังขรณ์วัดวาอารามต่าง ๆ ในเมืองลพบุรี ในช่วงระยะเวลาที่เสด็จแปรพระราชฐานมายังเมืองลพบุรีเกือบตลอดรัชกาล