เดิมพื้นที่แถบบริเวณ อำเภอภูเขียว เป็นชุมชนโบราณมาตั้งแต่สมัยทวารวดีโดยมีหลักฐานคือ คูดิน ใบเสมาจารึกอักษรปัลลวะ รวมทั้งโบราณสถานหลายแห่ง เช่น พระธาตุกลางบ้าน ตำบลผักปัง มีพระพุทธรูปโบราณปรากฏอยู่ พระธาตุบ้านโนนธาตุงาม ตำบลผักปัง พระธาตุวัดธาตุบ้านค้าว ตำบลโอโล และยังมีอีกหลายเแห่งที่ใกล้เคียงรอบๆ เช่น พระธาตุแก้งกอย หรือว่าโนนเมือง ตำบลโนนคูณ อำเภอคอนสาร จึงสรุปได้ว่าเป็นชุมชนเมืองมานานแล้ว อีกอย่างในตำนานอุรังคนิทาน ได้กล่าวถึงเมืองที่ชื่อ "กุรุนทนคร" อยู่ด้านทิศตะวันตกของเมือง หนองหาร ส่วนมากจะเข้าใจผิดว่า กุรุนทนคร เป็นเมืองแถบจังหวัดร้อยเอ็ด แต่ที่จริงแล้วคือบริเวณ "อำเภอภูเขียว" นี้เอง โดยในตำนานกล่าวว่า พระยากุรุนทนคร ไม่ได้มาร่วมสร้างพระธาตุด้วย และปรากฏอีกครั้งเมื่อสมัยอยุธยา มีฐานะเป็นเมืองเมืองหนึ่งในสมัยรัตนโกสินทร์ตอนต้น มีที่ตั้งเมืองอยู่ที่บ้านเมืองเก่า (ปัจจุบันอยู่ในท้องที่อำเภอเกษตรสมบูรณ์) หลวงไกรสิงหนาทเป็นเจ้าเมืองปกครองขึ้นตรงต่อกรุงเทพมหานคร พระไกรสิงหนาทผู้นี้ไม่มีบุตรสืบตระกูล จึงได้มีใบบอกแจ้งไปทางกรุงเทพมหานคร ให้แต่งตั้ง "นายฤๅชา" ซึ่งเป็นผู้มีความรู้ความสามารถดีให้เป็นเจ้าเมืองแทน โดยได้รับพระราชทานบรรดาศักดิ์เป็นหลวงไกรสิงหนาทและพระยาไกรสิงหนาทตามลำดับ ระหว่างที่พระยาไกรสิงหนาทปกครองเมืองอยู่นั้น ปรากฏว่าเมืองภูเขียวมีพลเมืองเพิ่มขึ้น ที่ตั้งเมืองเริ่มคับแคบจึงได้ย้ายเมืองมาอยู่ที่ "บ้านกุดเชือก" (บ้านยาง ซึ่งเป็นที่ตั้งที่ว่าการอำเภอเกษตรสมบูรณ์ปัจจุบัน) เมื่อพระยาไกรสิงหนาทชราภาพลงก็ได้มีใบบอกไปยังกรุงเทพมหานคร ให้แต่งตั้ง "นายบุญมา" บุตรชายคนโตของตนเป็นผู้ปกครองแทน ต่อมาจึงได้รับการแต่งตั้งให้เป็นพระยาไกรสิงหนาทแทนบิดา และได้รับพระราชทานบรรดาศักดิ์เป็นพระยาภักดีฤๅชัยจางวาง ซึ่งต่อมาได้ทำการย้ายเมืองจากบ้านกุดเชือกไปอยู่ที่บ้านโนนเสลา (ปัจจุบันอยู่ในท้องที่ตำบลหนองตูม อำเภอภูเขียว) เพราะเห็นว่าเป็นทำเลที่เหมาะสม และได้ให้กรมการเมืองไปขุดร่อนเอาทองซึ่งเป็นทองเนื้อดีที่บ่อโข่โหล่ในภูเขาพระยาฝ่อ (ปัจจุบันอยู่ในท้องที่อำเภอภักดีชุมพล) หล่อเป็นแท่งส่งไปยังกรุงเทพมหานครเพื่อเป็นการส่งส่วยอากรแทนเงินของราษฎร ซึ่งในสมัยนั้นการครองชีพของราษฎรยังขัดสน เมื่อย้ายเมืองไปอยู่ที่บ้านโนนเสลา ปรากฏว่าราษฎรในเขตตำบลนางแดดและตำบลหนองบัวแดงได้รับความเดือดร้อน มีความลำบากในการติดต่อเจ้าหน้าที่เพราะอยู่ไกลจากตัวเมืองมาก ได้รับความไม่สะดวกในด้านการปกครอง จึงได้มีใบบอกแจ้งไปยังกรุงเทพมหานครซึ่งก็ได้แต่งตั้งให้ "พระยาชุมพลภักดี" มาเป็นเจ้าเมืองเกษตรสมบูรณ์ โดยให้ตั้งบ้านเมืองอยู่บ้านหนองแพง ตำบลหนองบัวแดง ซึ่งในปัจจุบันยังมีคูและซากกำแพงเมืองปรากฏอยู่จนถึงทุกวันนี้ ในปี พ.ศ. 2440 ประเทศไทยได้เปลี่ยนรูปการปกครองจากแบบจตุสดมภ์ มาเป็น มณฑลเทศาภิบาล แทน ได้ตั้งร้อยโทขุนแผ้วภักดี (โต๊ะ) มากำกับราชการอยู่ที่เมืองภูเขียวเมื่อ พ.ศ. 2442 เมืองภูเขียวก็ถูกยุบฐานะลงมาเป็น "อำเภอภูเขียว" โดยขึ้นตรงต่อจังหวัดชัยภูมิ และให้หลวงพรมภักดี (ท้าวหล่าอ้วย) ยกกระบัตรเมืองชัยภูมิมาเป็นอำเภอภูเขียว ต่อมาทางราชการได้แต่งตั้งให้ "หลวงพินิจคงคา" มาเป็นนายอำเภอภูเขียว เมื่อประมาณปี พ.ศ. 2444–พ.ศ. 2445 หลวงพินิจคงคาได้ย้ายที่ว่าการอำเภอจากบ้านโนนเสลา ไปตั้งใหม่ที่บ้านผักปัง (ที่ตั้งที่ว่าการอำเภอภูเขียวในปัจจุบัน) โดยใช้นามว่า "อำเภอภูเขียว" ต่อมาในปี พ.ศ. 2449 ได้แยกอำเภอภูเขียวออกเป็น 2 อำเภอ คืออำเภอภูเขียว และ อำเภอเกษตรสมบูรณ์ ที่บ้านลาดหนองสามหมื่น (บ้านลาด ตำบลบ้านแก้ง อำเภอภูเขียวในปัจจุบัน) โดยมีหลวงนรินทร์สงครามเป็นนายอำเภอคนแรก

ในปี พ.ศ. 2452 พระยาจ่าแสงได้มาตรวจราชการที่อำเภอภูเขียวและอำเภอเกษตรสมบูรณ์ เห็นว่าอำเภอทั้งสองใกล้กันมาก จึงได้ยุบอำเภอเกษตรสมบูรณ์ลงมาเป็นกิ่งอำเภอเกษตรสมบูรณ์ โดยให้ขึ้นกับอำเภอภูเขียว และย้ายที่ว่าการกิ่งอำเภอไปตั้งที่บ้านยาง (ที่ตั้งที่ว่าการอำเภอเกษตรสมบูรณ์ในปัจจุบัน) เรียกชื่อว่า "กิ่งอำเภอบ้านยาง"

ในปี พ.ศ. 2460 ขุนสารกิจคณิตดำรงตำแหน่งนายอำเภอภูเขียว ทางราชการได้เปลี่ยนชื่ออำเภอภูเขียวเป็น อำเภอผักปัง เพื่อให้ตรงกับสถานที่ตั้งที่ว่าการอำเภอและได้เปลี่ยนใช้ชื่อ "อำเภอภูเขียว" อีกครั้งเมื่อปี พ.ศ. 2482 ซึ่งการเปลี่ยนชื่อกลับมาเป็นอำเภอภูเขียวครั้งนี้ทางราชการได้ตั้งชื่อผิดพลาดไป กล่าวคือ ทางอำเภอภูเขียวได้รายงานการขอตั้งชื่อกิ่งอำเภอบ้านยาง (เกษตรสมบูรณ์ปัจจุบัน) ซึ่งได้รับการยกฐานะเป็นอำเภอโดยใช้ชื่อว่าอำเภอภูเขียว เพราะว่ามีภูเขาเขียวอยู่ในท้องที่อำเภอ และขอเปลี่ยนชื่ออำเภอผักปังเป็นอำเภอเกษตรสมบูรณ์แทน แต่ราชการได้ตั้งชื่ออำเภอผักปังว่า "อำเภอภูเขียว" ซึ่งไม่ตรงกับสถานที่ปัจจุบัน

ในปี พ.ศ. 2481 ทางราชการเห็นว่าอำเภอภูเขียวมีภูมิประเทศกว้างขวาง มีพลเมืองมาก (ประมาณเกือบสองแสนคน) และมีระยะทางห่างไกลจากตัวจังหวัดมาก (ประมาณ 80 กิโลเมตร) การคมนาคมไม่สะดวก ต้องเดินทางด้วยเท้าหรือใช้ช้างม้าเป็นพาหนะ จึงให้ก่อตั้งศาลจังหวัด ที่ทำการอัยการจังหวัด และเรือนจำประจำอำเภอโดยใช้เวลาก่อสร้างอยู่ประมาณ 5 ปี จึงได้ประกาศเปิดทำการเมื่อวันที่ 24 มิถุนายน พ.ศ. 2485

ในปี พ.ศ. 2490 ทางราชการก็ได้ประกาศตั้งคลังอำเภอภูเขียวขึ้น เพราะเล็งเห็นว่าที่ตั้งอำเภอภูเขียวมีสภาพอยู่ในหุบเขาล้อมรอบและมีพลเมืองมาก ระยะทางห่างไกลจากจังหวัด และมีเงินจำนวนมากอยู่ในความรับผิดชอบ ประกอบกับทางราชการได้ตั้งศาล เรือนจำและอัยการประจำศาล กองตำรวจ และการไปรษณีย์โทรเลขเป็นหน่วยราชการ เกือบจะไม่ต่างจากจังหวัดแต่ประการใด แต่หน่วยงานดังกล่าวก็ได้ตั้งอยู่จนถึงปัจจุบันนี้และมีปริมาณงานเพิ่มมากขึ้นทุกปีเนื่องจากอำเภอภูเขียวมีพื้นที่มาก ในปี พ.ศ. 2501 ทางราชการได้ประกาศแยกพื้นที่ออกเป็นกิ่งอำเภอ 2 แห่ง คือ กิ่งอำเภอแก้งคร้อและกิ่งอำเภอคอนสาร ซึ่งต่อมากิ่งอำเภอทั้งสองได้รับการยกฐานะขึ้นเป็นอำเภอเมื่อปี พ.ศ. 2502 และปี พ.ศ. 2507 ทางราชการได้ประกาศตั้งกิ่งอำเภอบ้านแท่นโดยแยกจากอำเภอภูเขียวอีกครั้งหนึ่ง และได้รับการยกฐานะเป็นอำเภอเมื่อปี พ.ศ. 2512 จากประวัติดังกล่าวมาแล้วข้างต้น จะเห็นว่าในอดีตอำเภอภูเขียวเป็นอำเภอที่มีความสำคัญในประวัติศาสตร์มาก กล่าวคือ เคยเป็นเมืองเก่าซึ่งมีเจ้าเมืองที่มีบรรดาศักดิ์ถึงชั้นพระยาพานทอง เทียบเท่ากับจังหวัดทุกประการ ดังนั้นถึงแม้จะถูกยุบฐานะลงมาเป็นอำเภอแล้วก็ตาม ทางราชการก็ยังเห็นความสำคัญอยู่มาก ถึงกับตั้งหน่วยราชการที่สำคัญ ๆ พิเศษกว่าอำเภอทั่วไป เช่น ศาลจังหวัดภูเขียว สำนักงานอัยการจังหวัดภูเขียว สำนักงานคุมประพฤติ สำนักงานขนส่ง เรือนจำ สำนักงานที่ดิน และคลังจังหวัดขึ้น นอกจากนั้นยังได้พิจารณายกฐานะขึ้นเป็นอำเภอชั้นเอกเมื่อปี พ.ศ. 2490 โดยมีนายย้อย เปรมไทย มาดำรงตำแหน่งนายอำเภอชั้นเอกคนแรก และนายอำเภอคนต่อมาก็เป็นข้าราชการชั้นเอกทุกคน ในขณะที่เวลานั้นตำแหน่งปลัดจังหวัดและหัวหน้าส่วนราชการต่าง ๆ เป็นเพียงข้าราชการชั้นโทและรองผู้ว่าราชการชั้นโท และผู้ว่าราชการจังหวัดสมัยนั้นก็เป็นข้าราชการชั้นเอกเช่นกัน ในปี พ.ศ. 2521 ทางราชการได้ยกฐานะอำเภอภูเขียวขึ้นเป็นระดับ 7 ต่อมาเมื่อปี พ.ศ. 2530 ทางสำนักงานคณะกรรมการข้าราชการพลเรือน (ก.พ.) ร่วมกับกรมการปกครองให้ทางอำเภอภูเขียวสำรวจปริมาณงานในหน้าที่ของนายอำเภอเพื่อขอเปลี่ยนเป็นระดับ 8 (ชั้นพิเศษ) และได้ยกฐานะอำเภอเป็นระดับ 8 (ชั้นพิเศษ) เมื่อวันที่ 16 ธันวาคม พ.ศ. 2531 และในปี พ.ศ. 2550 ทางราชการกำหนดให้นายอำเภอภูเขียวดำรงตำแหน่งข้าราชการระดับ 9 เทียบเท่ากับนายอำเภอเมืองชัยภูมิ