แขวงแสมดำมีอาณาเขตติดต่อกับเขตการปกครองข้างเคียงดังต่อไปนี้[3]

• ทิศเหนือ ติดต่อกับแขวงบางบอนใต้ แขวงคลองบางบอน (เขตบางบอน) แขวงบางขุนเทียน แขวงจอมทอง (เขตจอมทอง) และแขวงท่าข้าม (เขตบางขุนเทียน) มีทางรถไฟสายวงเวียนใหญ่-มหาชัย คลองวัดสิงห์ และคลองสนามชัยเป็นเส้นแบ่งเขต
• ทิศตะวันออก ติดต่อกับแขวงท่าข้าม (เขตบางขุนเทียน) มีคลองสนามชัยเป็นเส้นแบ่งเขต
• ทิศใต้ ติดต่อกับแขวงท่าข้าม (เขตบางขุนเทียน) มีคลองสนามชัย คลองพระยาไชยยศสมบัติ และลำรางตาเณรเป็นเส้นแบ่งเขต
• ทิศตะวันตก ติดต่อกับตำบลพันท้ายนรสิงห์และตำบลบางน้ำจืด (อำเภอเมืองสมุทรสาคร จังหวัดสมุทรสาคร) มีคลองแสมดำใต้ คลองแสมดำเหนือ และแนวแบ่งเขตการปกครองระหว่างกรุงเทพมหานครกับจังหวัดสมุทรสาครเป็นเส้นแบ่งเขต