อำเภอละแมอยู่ในบริเวณที่ราบ พื้นที่ทางตะวันตกเป็นภูเขาและที่สูง ทางด้านตะวันออกเป็นชายฝั่งทะเล มีหาดทรายกว้างและยาว โดยมีสายน้ำที่สำคัญคือ แม่น้ำละแม และคลองบ้านดวด เป็นสายน้ำสั้น ๆ ที่ไหลลงสู่ทะเล ทางด้านตะวันออกมีเนินเขาเล็ก ๆ บ้างเล็กน้อย พื้นที่ลุ่มหลายแห่งเคยเป็นที่นา แต่ปัจจุบันกลายเป็นสวนและที่รกร้าง เนื่องจากการทำนาให้ผลผลิตน้อย ไม่คุ้มกับค่าใช้จ่าย