ตามประวัติความเป็นมานั้น คำว่า "พนม" เป็นภาษาเขมรซึ่งแปลว่า ภูเขาลำเนาไพร หรือชาวท้องถิ่นเรียกว่า "ปากนม" หรือ "พะนม" เป็นคำบอกถึงความหมายของสถานที่แห่งนั้น ตามหลักฐานบางอย่างสันนิษฐานว่า มีภูเขาเป็นรูปนม บ้างก็ว่าพนมมือ แต่เดิมอำเภอพนมมีชื่อเรียกว่า อำเภอชะอุ่น เป็นอำเภอตั้งแต่ปี พ.ศ. 2433 ตั้งอยู่ฝั่งขวาของคลองชะอุ่น การปกครองขึ้นตรงต่อเมืองนครศรีธรรมราช โดยมีหลวงปราบประทุษราษฎร์เป็นนายอำเภอคนแรก ตามประวัติกล่าวไว้ว่าเหตุที่ตั้งเมืองนั้น เพราะบริเวณหัวแคว้นด้านนี้ชุกชุมไปด้วยอันธพาล ทางการจึงก่อตั้งเป็นอำเภอเพื่อปราบอันธพาลนั่นเอง ต่อมาเมื่อปี พ.ศ. 2441 ทางราชการได้แบ่งการปกครองเป็นมณฑล จึงย้ายอำเภอชะอุ่นมาขึ้นกับมณฑลชุมพร ต่อมาเมื่อปี พ.ศ. 2453 อำเภอชะอุ่นได้ถูกลดฐานะเป็นกิ่งอำเภอชื่อว่า กิ่งอำเภอปากพนม โดยมีขุนพนมธนารักษ์ ดำรงตำแหน่งปลัดอำเภอผู้เป็นหัวหน้าประจำกิ่งอำเภอคนแรก ในที่สุดคำว่า "ปาก" ได้หายไปเหลือเพียงชื่อว่า กิ่งอำเภอพนม แล้วได้ยกฐานะเป็น อำเภอพนม อีกครั้งเมื่อวันที่ 14 พฤศจิกายน พ.ศ. 2514