เพราะว่าความเครียดบางอย่างจะขึ้นอยู่กับลักษณะเสียงนอกจากความดัง อาจจะต้องพิจารณาความรำคาญเสียงว่ามีผลต่อสุขภาพอย่างไรยกตัวอย่างเช่น เสียงสนามบินมักจะน่ารำคาญมากกว่าเสียงจราจรแม้ดังเท่ากัน[24]กลุ่มประชากรต่าง ๆ รำคาญเสียงไม่ต่างกัน แต่แหล่งเสียงตลอดจนความไวเสียงของบุคคลจะมีอิทธิพลอย่างยิ่งต่อความรำคาญ[25]แม้เสียงดังแค่ 40 dB(A) (คือประมาณเท่าตู้เย็นหรือในห้องสมุด)[26]ก็สามารถสร้างความรำคาญจนถึงกับต้องแจ้งความได้แล้ว[27]และขีดเสียงที่กวนการนอนก็อยู่เพียงแค่ 45 dB(A) หรือต่ำกว่านั้น[28]

ปัจจัยเสียงอื่น ๆ ที่มีผลต่อความรำคาญรวมทั้งความเชื่อเกี่ยวกับการป้องกันเสียง ความจำเป็นของแหล่งเสียง และปัจจัยที่ไม่เกี่ยวกับเสียง[29]ยกตัวอย่างเช่น ในที่ทำงาน เสียงพูดโทรศัพท์และเสียงคุยกันของเพื่อนร่วมงานอาจน่ารำคาญได้โดยขึ้นอยู่กับเรื่องที่คุยระดับความรำคาญและความสัมพันธ์ระหว่างระดับเสียงกับผลทางสุขภาพ ยังสามารถแปรตามคุณภาพความสัมพันธ์ระหว่างเพื่อนร่วมงาน ตลอดจนระดับความเครียดที่เกิดจากงาน[30][31]หลักฐานว่าการเปลี่ยนแปลงของเสียงที่พึ่งเริ่มเร็ว ๆ นี้ หรือเสียงที่มีอยู่แล้วในระยะยาว อะไรมีผลมากกว่ากัน ก็ยังไม่ชัดเจน[29]

การประเมินความรำคาญมักใช้ตัวกรองตามน้ำหนัก (weighting filter) ซึ่งพิจารณาความถี่เสียงบางพิสัยว่า สำคัญกว่าพิสัยอื่น ๆ แล้วแต่ว่ามนุษย์ได้ยินได้ดีแค่ไหนตัวกรองตามน้ำหนักเก่า คือ dB(A) ตามที่ได้กล่าวถึงแล้ว จะใช้อย่างกว้างขวางในสหรัฐอเมริกา แต่เป็นระบบที่ประเมินผลของความถี่เสียงใกล้ ๆ 6 กิโลเฮิรตซ์และความถี่ต่ำมาก ๆ น้อยเกินไปส่วนตัวกรอง ITU-R 468 noise weighting จะนิยมใช้กว่าในยุโรปการกระจายเสียงจะต่างกันขึ้นอยู่กับสิ่งแวดล้อมยกตัวอย่างเช่น เสียงความถี่ต่ำมักจะไปได้ไกลกว่าดังนั้น ตัวกรองที่ต่างกัน เช่น dB(B) และ dB(C) ก็อาจต้องใช้ในกรณีโดยเฉพาะ ๆ

นอกจากนั้นแล้ว งานศึกษาแสดงว่า เสียงใกล้ ๆ บ้าน (รวมทั้งจากอะพาร์ตเมนต์ใกล้ ๆ กัน และเสียงภายในอะพาร์ตเมนต์หรือบ้านตัวเอง) สามารถทำให้รำคาญและเครียด เนื่องจากเวลาที่ใช้อยู่ในบ้านมากซึ่งสามารถเพิ่มความเสี่ยงต่อความซึมเศร้า โรคทางจิตเวชอื่น ๆ[32][33]ไมเกรน และแม้แต่ความเครียด[33]ในที่ทำงาน มลพิษเสียงมักจะเป็นปัญหาเมื่อดังเกินกว่า 55 dB(A)งานศึกษาบางงานแสดงว่า ผู้ทำงานประมาณ 35%-40% บอกว่าเสียงที่ 55-60 dB(A) น่ารำคาญมาก[30]

ระเดับเสียงในเยอรมนีที่จัดเป็นมาตรฐานว่าเป็นงานเครียด อยู่ที่ 55 dB(A)[34]แต่ว่า ถ้าเสียงมีอยู่เป็นประจำ ขีดที่ผู้ทำงานทนได้จะต่ำกว่า 55 dB(A)[30]

ผลสำคัญจากเสียงอย่างหนึ่งก็คือทำให้ได้ยินเสียงพูดได้น้อยลงแม้สมองมนุษย์จะสามารถชดเชยเสียงพื้นหลังเมื่อพูด ด้วยกระบวนการที่เรียกว่า Lombard effect ที่มนุษย์จะเน้นคำพูดมากขึ้นอย่างไม่ตั้งใจแต่ว่า กระบวนการนี้ก็ยังไม่สามารถแก้ไขปัญหาความชัดเจนของสิ่งที่สื่อทั้งหมดเมื่ออยู่ในที่เสียงดัง