ที่ว่าการอำเภอปะเหลียนตั้งอยู่บ้านท่าข้าม หมู่ที่ 1 ตำบลท่าข้าม พิกัด NH927762 ห่างจากตัวจังหวัดตรังไปทางทิศใต้ 44 กิโลเมตรตามทางหลวงแผ่นดินหมายเลข 404 (ตรัง-ปะเหลียน) และอยู่ห่างจากกรุงเทพมหานครประมาณ 900 กิโลเมตร ท้องที่ปกครองของอำเภอมีอาณาเขตติดต่อกับเขตการปกครองข้างเคียงดังต่อไปนี้

• ทิศเหนือ ติดต่อกับอำเภอย่านตาขาว
• ทิศตะวันออก ติดต่อกับอำเภอกงหราและอำเภอตะโหมด (จังหวัดพัทลุง)
• ทิศใต้ ติดต่อกับอำเภอทุ่งหว้า (จังหวัดสตูล) และทะเลอันดามัน
• ทิศตะวันตก ติดต่อกับอำเภอหาดสำราญและอำเภอกันตัง