สมัยก่อนมีคุณยายคนหนึ่งสามีไปออกศึกสงครามนานนมก็ไม่ได้กลับมาสักที ยายอยู่รอที่บ้านก็เลยสร้างปราสาทคอย แต่ไม่ปรากฏว่ายายได้พบกับตาหรือไม่ และปราสาทก็ดูเหมือนจะสร้างไม่แล้วเสร็จ ตำนานนี้เป็นเพียงเรื่องเล่าต่อๆ กันมา

ปราสาทยายเหงานี้มีภูมิลำเนาที่ บ้านสังขะ ตำบลสังขะ อำเภอสังขะ จังหวัดสุรินทร์ มีลักษณะเป็นปราสาทแบบขอม ปรากฏอยู่ 2 หลัง หากดูตามการก่อสร้างอาจมีปรางค์อีกองค์คู่กัน แต่ยังไม่ได้เริ่มสร้าง ก่อด้วยอิฐ เป็นศิลปะแบบเขมร สร้างเมื่อประมาณพุทธศตวรรษที่ 16-17 ปัจจุบันปราสาทยายเหงาได้รับการบูรณะ ขุดแต่งแล้วเสร็จตามโครงการเมื่อไม่นานมานี้