ในยุคปัจจุบันนักวิชาการบางท่านได้สันนิษฐานว่าปรางค์แขกถูกสร้างขึ้นราวพุทธศตวรรษที่ 15[2] บ้างก็ว่าสร้างตั้งแต่ช่วงพุทธศตวรรษที่ 16[3] มีรูปแบบสถาปัตยกรรมแบบสมัยพระเจ้าสุริยวรมันที่ 2[4] ที่นี่จึงเป็นปราสาทขอมที่เก่าแก่ที่สุดในจังหวัดลพบุรี[1] และภาคกลาง[4][5]

ทั้งนี้มิทราบว่าใครเป็นผู้ริเริ่มในการสร้างปรางค์แขก โดยอาจสร้างขึ้นตามพระบรมราชโองการของพระมหากษัตริย์ หรือสร้างจากการอุปถัมภ์ของผู้นำท้องถิ่น[5]