จากคำบอกเล่าของผู้รู้ในตำบล ตำบลควนขนุนเป็นตำบลเก่าแก่มาแต่ดั้งเดิม ไม่ปรากฏว่าย้ายมาจากที่ใดและไม่ปรากฏปีที่จัดตั้ง สำหรับชื่อที่เรียกตำบลควนขนุนเดิมบริเวณนี้มีต้นขนุนอยู่ 1 ต้น วันหนึ่งมีพระภิกษุเดินผ่านมาได้กลิ่นหอมของขนุนสุก แต่เมื่อมองหาผลบนต้นกลับไม่พบทั้งที่ยังมีกลิ่นหอมอยู่เหมือนเดิม จึงลองช่วยกันขุดใต้ดินบริเวณต้นขนุน พบขนุนมีลักษณะผิวสีทองจึงได้ช่วยกันนำขึ้นมาและไปถวายเจ้าเมือง เจ้าเมืองประทับใจมากที่มีของแปลกประหลาดจึงได้ประทานรางวัลฆ้อง 2 ลูก เป็นฆ้องเงินและฆ้องทอง และประทานชื่อว่า "บ้านควนขนุน"

อำเภอควนขนุนเดิมเรียกว่า อำเภออุดร จัดตั้งเมื่อปี พ.ศ. 2439 หรือ ร.ศ. 115 มีพระพลสงคราม (โต ศิริธร) เป็นนายอำเภอคนแรก ต่อมาภายหลังเป็นพระยาศิริธรเทพสัมพันธ์ เจ้ากรมเสมียนตรา อำเภอตั้งอยู่ที่หมู่ที่ 5 ตำบลควนขนุน และได้ย้ายที่ตั้งอีกจำนวน 4 ครั้ง ครั้งแรกเมื่อปี พ.ศ. 2442 ย้ายที่ว่าการอำเภอไปตั้งที่บ้านมะกอกใต้ เรียกว่า อำเภอมะกอกใต้ ครั้งที่ 2 เมื่อปี พ.ศ. 2450 ย้ายไปที่บ้านทะเลน้อย เรียก อำเภอทะเลน้อย ครั้งที่ 3 ไม่ปรากฏปี พ.ศ. ย้ายไปที่บ้านพนางตุง เรียก อำเภอพนางตุง และครั้งสุดท้าย เมื่อปี พ.ศ. 2466 ย้ายกลับมาตั้งที่เดิมคือที่บ้านควนขนุน เรียกว่า อำเภอควนขนุน มาจนถึงปัจจุบัน