ตามคำบอกเล่าสืบต่อกันมา แต่ก่อนนั้นมีเขาศิลาทรายเกิดขึ้นกลางลำห้วยแคน ซึ่งอยู่ในเขตพื้นที่บ้านโนนศิลาในปัจจุบัน  เมื่อมองดูตอนพระอาทิตย์กำลังขึ้นหรือลับขอบฟ้า จะมองเห็นเป็นสีเหลืองทองอร่าม ต่อมาเขาศิลาทรายนั้นถูกน้ำในลำห้วยแคนพัดหายไป คนเฒ่าคนแก่จึงได้ตั้งชื่อหมู่บ้าน ณ บริเวณดังกล่าวว่า "บ้านโนนศิลา" โดยตั้งเป็นหมู่บ้านริมถนนมิตรภาพ (สระบุรี-หนองคาย) เมื่อราวปี พ.ศ. 2440 อยู่ในเขตการปกครองของพื้นที่ตำบลเปือยใหญ่ อำเภอบ้านไผ่ จังหวัดขอนแก่น ในขณะนั้น

ต่อมา เมื่อปี พ.ศ. 2532 ประชากร "บ้านโนนศิลา" อยู่อาศัยกันอย่างหนาแน่น เป็นชุมชนใหญ่ขึ้น จึงได้มีการยกฐานะเป็น ตำบลโนนศิลา แยกการปกครองออกจากตำบลเปื่อยใหญ่ อำเภอบ้านไผ่ ขึ้นตรงต่ออำเภอบ้านไผ่ ตามพระราชบัญญัติลักษณะปกครองท้องที่ พระพุทธศักราช 2457 โดยตำบลโนนศิลา อำเภอบ้านไผ่ มีทั้งหมด 14 หมู่บ้าน ต่อมาไม่นาน เขตตำบลโนนศิลาด้านทิศเหนือประชากรเริ่มหนาแน่นขึ้นป็นชุมชนใหญ่ขึ้น จึงแยกตำบลโนนศิลา 7 หมู่บ้านออกไปเพื่อจัดตั้งเป็นตำบลขึ้นเพิ่มใหม่ชื่อ ตำบลโนนแดง อำเภอบ้านไผ่ ทำให้ ตำบลโนนศิลา เหลือเพียง 7 หมู่บ้านในเขตการปกครอง

จนกระทั่งในปี พ.ศ. 2538 อำเภอบ้านไผ่ ในขณะนั้นมีตำบลในการปกครองจำนวนรวม 20 ตำบล ทำให้ยากต่อการอำนวยความสะดวกทางราชการ ประชาชนติดต่อราชการใช้เวลารอนาน เนื่องจากจำนวนประชากรเยอะ ทางกระทรวงมหาดไทยจึงได้แยก อำเภอบ้านไผ่ แบ่งการปกครองออกจัดตั้งเป็น 2 กิ่งอำเภอ ได้แก่ กิ่งอำเภอบ้านแฮด เมื่อวันที่ 7 กุมภาพันธ์ พ.ศ. 2538 และ กิ่งอำเภอโนนศิลา ลงในประกาศกระทรวงมหาดไทยเมื่อวันที่ 26 มิถุนายน พ.ศ. 2539 เรื่อง แบ่งเขตพื้นที่อำเภอบ้านไผ่ จังหวัดขอนแก่น ตั้งเป็น "กิ่งอำเภอโนนศิลา" โดยมีผลตั้งแต่วันที่ 15 กรกฎาคม[1] พ.ศ. 2539[2] เขตปกครองประกอบด้วยตำบล 5 ตำบล คือ ตำบลโนนศิลา ตำบลหนองปลาหมอ ตำบลบ้านหัน ตำบลเปือยใหญ่ ตำบลโนนแดง[3]

ต่อมาวันที่ 8 กันยายน พ.ศ. 2550 มีพระราชกฤษฎีกายกฐานะ "กิ่งอำเภอ เป็น อำเภอ" (ราชกิจจานุเบกษา เล่ม 124 ตอนที่ 46ก ลงวันที่ 24 สิงหาคม พ.ศ. 2550[4])  ทำให้ กิ่งอำเภอโนนศิลา ได้การยกฐานะเป็น "อำเภอโนนศิลา" จนถึงปัจจุบัน