ตำบลเปือยใหญ่ แต่เดิมนั้นขึ้นอยู่ในการปกครองของอำเภอบ้านไผ่ [1]

เมื่อปี พ.ศ. 2539 ทางกระทรวงมหาดไทยได้ประกาศจัดตั้ง กิ่งอำเภอโนนศิลา อำเภอบ้านไผ่ ตำบลเปือยใหญ่จึงได้โอนมารวมอยู่ในการปกครองของกิ่งอำเภอโนนศิลา และเป็น อำเภอโนนศิลา ในปัจจุบัน สาเหตุที่ชื่อตำบลเปือยใหญ่ เพราะบ้านเปือยใหญ่เป็นจุดศูนย์กลางของตำบล โดยมีชุมชนอยู่อย่างหนาแน่นและมีต้นเปือยใหญ่เป็นสัญลักษณ์ประจำหมู่บ้าน จึงเรียกขานติดต่อกันมาว่า "ตำบลเปือยใหญ่" มาจนถึงปัจจุบัน[2]