คำว่าหินกองมีเรื่องเล่าว่า ในสมัยก่อนในยุคขอมเรืองอำนาจ ได้มีการแข่งขันกันสร้างกู่ระหว่างหญิงกับชายให้เสร็จภายในวันเดียว ถ้าดาวประกายพรึกขึ้นให้หยุดทันที โดยหญิงได้สร้างกู่พระโกนา (ปัจจุบันอยู่ในเขตตำบลสระคู อำเภอสุวรรณภูมิ) และชายสร้างกู่กาสิงห์ (อำเภอเกษตรวิสัย) พอสร้างกันไปถึงเที่ยงคืน ฝ่ายหญิงได้ใช้กลอุบายทำโคมไฟจุดบนต้นไม้ ฝ่ายชายเห็นคิดว่าเป็นดาวจึงหยุดทันทีโดยทิ้งหินที่ขนกันมากองไว้ รุ่งเช้าฝ่ายหญิงสร้างเสร็จ ฝ่ายชายสร้างไม่เสร็จ และจุดที่ฝ่ายชายทิ้งหินกองไว้นั้น ปัจจุบันคือ บ้านหินกอง และเป็นชื่อเรียกของตำบลหินกอง