ในอดีตสมัยที่พระพุทธเจ้าตรัสรู้ แถบตำบลนี้เป็นที่อยู่ของชฏิลสามพี่น้องคือ อุรุเวลากัสสปะ, นทีกัสสปะ, คยากัสสปะ และบริวารของตนรวม 1,003 รูป ที่ตั้งสำนักบูชาไฟของตนเรียงกันไปตามแม่น้ำเนรัญชรา เป็นที่เคารพศรัทธาของคนในแคว้นมคธเป็นอย่างมาก พระพุทธองค์ได้เสด็จกลับมาโปรดชฏิลเหล่านี้[2] หลังจากตรัสรู้ที่ตำบลที่ใกล้กับที่ตั้งสำนักของอุรุเวลกัสสปะและบริวาร (อุรุเวลาเสนานิคม) โดยเสด็จไปโปรดปัญจวัคคีย์และจำพรรษาแรกที่ป่าอิสิปตนมฤคทายวันก่อน และทรงกลับมาทรงกระทำการทรมานทิฏฐิมานะของชฏิลด้วยการแสดงอภินิหารหลายประการ[3] จนเหล่าชฏิลทั้งหมดยอมรับนับถือและบรรพชาในพระพุทธศาสนาและพระพุทธองค์ได้ทรงแสดงอาทิตตปริยายสูตรแก่เหล่าชฏิลจนบรรลุเป็นพระอรหันต์ทั้งหมด ที่ คยาสีสะ ซึ่งตั้งอยู่ที่ตำบลคยาในปัจจุบัน

ปัจจุบัน คยาสีสะ สถานที่ที่พระพุทธองค์ทรงแสดงธรรมแก่ชฏิลจนบรรลุพระอรหันต์ ยังคงมีชื่อเรียกว่าคยาสีสะเหมือนในพุทธกาล โดยมีสถูปเล็ก ๆ ตั้งอยู่ในจุดที่ชื่อว่าเป็นสถานที่พระพุทธองค์แสดงธรรมในครั้งนั้นด้วย

นอกจากสถานที่ทางพระพุทธศาสนาแล้ว ยังมีวัดฮินดูชื่อว่าวัดวิษณุบาท ที่ชาวฮินดูเชื่อว่าเป็นสถานที่ประดิษฐานรอยบาทของพระวิษณุ ตามคัมภีร์รามายณะด้วย โดยมีชาวฮินดูมาสักการะเป็นประจำ