เดิมชาวป่าตองส่วนใหญ่สร้างที่พักอาศัยบริเวณวัด และบ้านมอญ อยู่ห่างจากชายทะเล ชาวป่าตองส่วนใหญ่จะมีอาชีพทำนาข้าว ทำเหมืองแร่ตามสถานที่ต่างๆ นอกป่าตอง และปลูกผักผลไม้เพื่อยังชีพ ชุมชนหลักดั้งเดิมของที่นี่มีชื่อว่า บ้านมอญ และ ชายวัด แต่เริ่มมีการขยายตัวของนักลงทุนและโรงแรมอย่างรวดเร็ว เมื่อมีการท่องเที่ยวเข้ามาเมื่อประมาณ 10 ปีที่แล้ว ปัจจุบันชุมชนต่าง ๆ ได้ตั้งขึ้นมากมายเพื่อตอบสนองการท่องเที่ยวที่เข้ามา ทำให้เกิดการเปลี่ยนไปของวิถีชีวิตมากมาย ไม่ว่าจะเป็นการสร้างบ้านเรือนให้อยู่ติดริมชายทะเลมากขึ้น การเปลี่ยนไปของอาชีพก็หันมาทำธุรกิจเกี่ยวกับการท่องเที่ยว ทำให้อาชีพดั้งเดิมเริ่มหายไป แต่ก็ยังมีคงอยู่บ้างแถบๆ ชายเขาไกลจากทะเลซึ่งมิได้เป็นที่นิยมในหมู่นักท่องเที่ยวนัก ซึ่งการเปลี่ยนแปลงเหล่านี้ทำให้สถาปัตยกรรมท้องถิ่นเปลี่ยนไปตามวิถีชีวิตด้วย จากบ้านที่เคยเป็นไม้ยกถุนสูงเทียบหน้าแข้งถัดมาเป็นบ้านกึ่งใต้ทุนและแบบปัจจุบัน ส่วนมากก็กลับแปรเปลี่ยนเป็นตึกอพาร์ตเมนต์ เพื่อตอบสนองการท่องเที่ยวและคนต่างจังหวัดที่เข้ามาอย่างมากมาย แม้กระทั่งการปรับเปลี่ยนหรือซ่อมแซมบ้านพักส่วนบุคคลนั้น ก็ยังได้นำรูปแบบใหม่ๆ เข้ามาซึ่งบางหลังอาจจะเปลี่ยนไปเป็นแบบสมัยใหม่ทั้งหมด แต่บางหลังยังคงไว้บางส่วนแต่ต่อเติมเป็นแบบสมัยใหม่เข้าไป นอกจากการท่องเที่ยวที่มีผลต่อการเปลี่ยนแปลงแล้ว ภัยธรรมชาติก็มีส่วนในการทำลายสถาปัตยกรรมเก่าๆ ไป ซึ่งเป็นอีกปัจจัยที่ทำให้ผู้คนในชุมชนหันมาให้ความสนใจในรูปแบบสมัยใหม่มากกว่าที่จะสร้างให้คงเดิม