แม้ว่าชาวกะเหรี่ยงจะได้ชื่อว่าเป็นชาวเขา แต่ก็ไม่ได้อาศัยอยู่บนที่สูงเสียทั้งหมด บางส่วนก็ตั้งบ้านเรือนบนที่ราบเช่นเดียวกับชาวพื้นราบทั่วไป ในหมู่บ้านบางแห่งมีทั้งกะเหรี่ยงสะกอและกะเหรี่ยงโป แต่ไม่ได้ใช้ชีวิตอยู่ร่วมกัน ชาวกะเหรี่ยงนิยมตั้งถิ่นฐานเป็นหลักแหล่งถาวร ไม่นิยมย้ายถิ่นบ่อย ๆ และมีภูมิปัญญาในการจัดการทรัพยากรดินและแหล่งน้ำเป็นอย่างดี และเป็นที่น่าสังเกตว่า ชาวกะเหรี่ยงส่วนใหญ่จะตั้งถิ่นฐานใกล้แหล่งน้ำหรือต้นน้ำลำธาร

บ้านเรือนของชาวกะเหรี่ยงนิยมสร้างเป็นบ้านยกพื้น มีชานบ้าน หรือไม่ก็ใช้เสาสูง แม้ว่าอยู่บนที่สูงก็ตาม ซึ่งแตกต่างจากชาวเขาเผ่าอื่น ๆ ที่นิยมสร้างบ้านชั้นเดียว พื้นติดดิน เช่น ชาวม้ง หรือชาวเมี่ยน เป็นต้น