ชาวเกาะกงทั้งที่มีเชื้อสายเขมรและไทยเรียกเมืองหลักนี้ว่า เกาะกง ซึ่งทั้งคำว่าเกาะและกงมีความหมายตรงตัวว่า "เกาะ" ต่อมาเมื่อช่วงที่เกาะกงอยู่ภายใต้อิทธิพลของกรุงสยาม รัชสมัยพระบาทสมเด็จพระจอมเกล้าเจ้าอยู่หัว ได้พระราชทานนามเมืองแห่งนี้ว่า ปัจจันตคิรีเขตร[3] ซึ่งมีความหมายว่า "ปลายเขตแดนที่ภูเขา" และตั้งนามเมืองให้คล้องกับเมืองประจวบคีรีขันธ์ (เดิมชื่อ บางนางรมย์) ซึ่งเมืองทั้งสองตั้งอยู่ในแนวรุ้งเดียวกัน[8] ดังปรากฏไว้ความว่า[9]

"...ขุนสารประเสริฐรับพระบรมราชโองการใส่เกล้าฯ ทรงพระกรุณา โปรดเกล้าฯ สั่งว่า เมืองบางนางรมย์นั้นโปรดเกล้าฯ ให้เรียกเมืองประจวบคีรีขันธ์ กับที่เกาะกงนั้น โปรดเกล้าฯ ให้เรียกว่า เมืองปัจจันตคิรีเขตร ให้กรมวัง หมายไปยังกรมพระกลาโหม กรมท่า กรมพระศุภรัต สัสดีซ้ายขวา ให้เรียกชื่อเมืองทั้ง ๒ ให้ถูกตามแบบรับสั่ง"

แต่เดิมที่ทำการเมืองเกาะกงตั้งอยู่ที่เกาะเสก็ดและขึ้นต่อจังหวัดกำปอต ต่อมาในปี พ.ศ. 2502 ได้มีการสร้างที่ทำการเมืองใหม่ที่เสาธงแล้วเสร็จ จึงได้แยกเกาะกงออกมาตั้งเป็นจังหวัดใหม่[7]