เป็นเทวาลัยในศาสนาฮินดู สร้างขึ้นในราวพุทธศตวรรษที่ 16-17 โดยได้รับอิทธิพลจากศิลปกรรมสมัยนครวัดเป็นโบราณสถานอีกแห่งที่ถูกวางระเบิดจนองค์ปรางค์พังทลายลงมาเพื่อโจรกรรม ชิ้นส่วนปราสาทไปขาย ภายหลังกรมศิลปากรได้บูรณะใหม่จนมีความสมบูรณ์ และประกาศขึ้นทะเบียนเป็นโบราณสถานเมื่อวันที่ 8 มีนาคม 2547

ลักษณะของกู่ประกอบด้วย ปรางค์อิฐ 3 องค์ ตั้งเรียงกันในแนวเหนือ-ใต้ บนฐานศิลาแลงเดียวกัน อาคารทั้งหมดหันหน้าไปทางทิศตะวันออก มีประตูหน้าเพียงประตูเดียว อีก 3 ด้าน สลักเป็นประตูหลอก ปรางค์องค์กลางมีขนาดใหญ่และมีสภาพค่อนข้างสมบูรณ์เป็นรูปสี่เหลี่ยมจัตุรัส ด้านหน้าทั้ง 3 ด้าน มีลักษณะยื่นออกมาและมีแผ่นศิลาทรายรองรับ ส่วนปรางค์อีกสององค์มีขนาดเล็กกว่าฐานเป็นรูปสี่เหลี่ยมจัตุรัส มีประตูเดียวทางด้านหน้า เช่นกัน ส่วนผนังอีก 3 ด้าน ก่อเรียบทึบ สำหรับบนพื้นหน้าปรางค์มีส่วนประกอบสถาปัตยกรรมหินทรายอื่นๆ ตกหล่นอยู่ เช่น ฐานบัว ยอดปรางค์ กลีบขนุน รูปนาค 6 เศียร อายุของกู่สวนแตงสามารถกำหนดได้จากทับหลังของปรางค์ ซึ่งปัจจุบันเก็บรักษาอยู่ที่ พิพิธภัณฑสถานแห่งชาติ พระนครอยู่ในราวพุทธศตวรรษที่ 17 เนื่องจากภาพสลักบนทับหลังทั้งหมดมีลักษณะตรงกับศิลปะขอมแบบนครวัด ที่มีอายุอยู่ในช่วงเวลาดังกล่าว อาทิเช่น ทับหลังสลักภาพพระนารายณ์ตรีวิกรม (ตอนหนึ่งในวามนาวตารแสดงภาพพระนารายณ์ย่างพระบาท 3 ก้าว เหยียบโลกบาดาล โลกมนุษย์ และโลกสวรรค์) ทับหลังภาพศิวนาฎราช ทับหลังภาพการกวนเกษียรสมุทร ทับหลังภาพนารายณ์บรรทมสินธุ์ ฯลฯ แต่ละชิ้นมีขนาดใหญ่สวยงามน่าสนใจยิ่ง

เป็นลักษณะปรางค์กู่หินศิลาแลงวางเรียงซ้อนกัน และวงเป็นกำแพงล้อมตัวกู่ ภายในมีพระพุทธองค์ใหญ่ และรูปปั้นฤๅษี ประดิษฐานอยู่ภายในบริเวณ บริเวณศิลาแลงด้านในมีต้นจำปีปลูกล้อมรอบ 7 ต้น ด้วยกัน และบริเวณรอบนอกศิลาแลง ด้านทิศเหนือมีสระน้ำบึงขนาดเล็กอยู่ด้านข้าง ด้านชาวบ้านในบริเวณนั้น บอกว่าสร้างมานานแล้ว แต่ในอดีตมี พระภิกษุมาจำวัดที่นี้ แต่ปัจจุบันไม่มีแล้ว โดยสถานแห่งนี้เป็นสถานที่ศักดิ์สิทธิ์และนับถือของชาวบ้านใน ละแวกนี้