ตัวเทวสถานประกอบด้วยปราสาทอิฐ 3 องค์ เรียงตัวกันในแนวเหนือใต้หันหน้าไปทางทิศตะวันออกตามธรรมเนียมที่พบในกัมพูชา[5] องค์กลางมีขนาดใหญ่กว่าองค์อื่น ๆ[1] มีประตูทางเข้าเพียงประตูเดียวในแต่ละปรางค์ ส่วนอีกสามประตูเป็นประตูหลอก และไม่มีฉนวนเชื่อมดังพระปรางค์สามยอด แต่เดิมก่อด้วยอิฐไม่สอปูนและคาดว่าคงพังทลายลง ช่วงกรุงศรีอยุธยาตอนปลายในรัชสมัยสมเด็จพระนารายณ์มหาราชจึงมีการปฏิสังขรปรางค์ทั้งสามองค์ขึ้นใหม่ในรูปแบบถืออิฐสอปูนแต่ละก้อนเชื่อมด้วยยางไม้ และสร้างอาคารอีกสองหลังขึ้นเพิ่มเติม[1] โดยอาคารแรกเป็นวิหารทางด้านหน้า ส่วนอาคารอีกหลังทางทิศใต้สร้างเป็นถังเก็บน้ำประปา และอาคารทั้งสองเป็นศิลปะไทยผสมยุโรปตามพระราชนิยม โดยประตูทางเข้ามีลักษณะโค้งแหลม ต่อมาเมื่อเทวสถานปรางค์แขกชำรุดทรุดโทรมลง กรมศิลปากรจึงเข้าไปทำการบูรณะเพิ่มเติมและเทคอนกรีตเสริมฐานราก