อำเภอโขงเจียม แยกออกจากอำเภอศรีเมืองใหม่ (เดิมชื่ออำเภอโขงเจียม) จัดตั้งเป็นกิ่งอำเภอบ้านด่านปากมูลใน พ.ศ. 2502 โดยมีนายจิตร สุวรรณไลละ เป็นนายอำเภอกิ่ง ต่อมายกฐานะเป็นอำเภอบ้านด่าน มีเขตการปกครองแบ่งได้ 6 ตำบล คือ ตำบลโขงเจียม ตำบลคำเขื่อนแก้ว ตำบลหนองแสงใหญ่ ตำบลห้วยไผ่ ตำบลห้วยยาง และตำบลนาโพธิ์กลาง

ในวันที่ 25 กันยายน พ.ศ. 2514 ทางราชการได้พิจารณาเห็นว่า คำว่า "โขงเจียม" เหมาะสมกับประวัติศาสตร์และชุมชนดังเดิมแถบนี้ จึงเปลี่ยนชื่อเป็นอำเภอโขงเจียม ต่อมาใน พ.ศ. 2534 พระบาทสมเด็จพระปรมินทรมหาภูมิพลอดุลยเดชได้มีพระราชกฤษฎีกาตั้งอำเภอสิรินธร โดยให้ผนวกเอาตำบลคำเขื่อนแก้วไปอยู่ในเขตอำเภอสิรินธรด้วย จึงทำให้อำเภอโขงเจียมเหลือเขตการปกครองจำนวน 5 ตำบล จนถึงปัจจุบัน

คำว่า " โขง " หมายถึงหัวหน้าช้างหรืออาจจะมาจากคำว่า "โขลง" ที่หมายถึง ฝูงช้างก็ได้ คำว่า "เจียม" คาดว่า เพี้ยนมาจากคำว่า " เจียง " (ส่วย) ซึ่งแปลว่า " ช้าง " ดังนั้นอำเภอโขงเจียมจึงน่าจะหมายถึง "เมืองที่มีช้างมาอยู่รวมกันเป็นฝูงใหญ่ "