ตัวแปรใดเกิดก่อนไม่ชัดเจน

ความไม่ชัดเจนว่า ตัวแปรไหนเกิดก่อน อาจจะทำให้สับสนว่า ตัวแปรไหนเป็นเหตุตัวแปรไหนเป็นผล

ตัวแปรกวน

ความสมเหตุผลของการอนุมานมีความเสี่ยงหลักคือตัวแปรกวน (Confounding variable)ซึ่งก็คือ ความเปลี่ยนแปลงที่พบในตัวแปรตาม อาจมีเหตุมาจากการมีอยู่หรือค่าความต่างของตัวแปรที่สาม ที่สัมพันธ์กับตัวแปรที่จัดแจง (คือตัวแปรที่คิดว่าเป็นตัวแปรอิสระ)ถ้าไม่สามารถกำจัดประเด็นเรื่องความสัมพันธ์ที่ไม่เป็นจริง (spurious relationship) ก็อาจจะมีสมมติฐานอื่นที่ใช้อธิบายผลที่พบได้

อคติที่เกิดจากการเลือกตัวอย่าง (Selection bias)

อคติที่เกิดจากการเลือกตัวอย่าง (Selection bias) เป็นปัญหาเกี่ยวกับความแตกต่างระหว่างกลุ่มการทดลองที่สามารถทำปฏิกิริยาร่วมกับตัวแปรอิสระ และดังนั้นจึงอาจเป็นเหตุหนึ่งของผลต่างที่พบทั้งนักวิจัยทั้งผู้เข้าร่วมการทดลอง นำเข้าสู่การทดลองคุณลักษณะต่าง ๆ มากมาย บางอย่างเป็นเรื่องที่เรียนมาบางอย่างเป็นเรื่องที่มีโดยธรรมชาติยกตัวอย่างเช่น เพศ น้ำหนัก ผม ตา สีผิว บุคลิกภาพ สมรรถภาพทางความคิด สมรรถภาพทางกาย ทัศนคติเช่นแรงจูงใจและการให้ความร่วมมือ

ในช่วงการรับผู้ร่วมการทดลอง ถ้ามีผู้ร่วมการทดลองที่มีลักษณะเหมือนกันบางอย่างจัดเข้ากลุ่มทดลองต่าง ๆ ไม่เท่ากัน ก็จะเสี่ยงต่อความสมเหตุสมผลภายในยกตัวอย่างเช่น ถ้ามีสองกลุ่มคือกลุ่มทดลองกับกลุ่มควบคุมแต่มีบุคคลที่มีลักษณะที่เป็นตัวแปรกวนในสองกลุ่มไม่เท่ากัน

ประวัติศาสตร์ (History)

เหตุการณ์ต่าง ๆ นอกการศึกษา/การทดลอง หรือที่เกิดในระหว่างการวัดค่าตัวแปรตาม อาจจะมีผลแก่ปฏิกิริยาของผู้ร่วมการทดลองต่อวิธีการดำเนินงานบ่อยครั้ง นี่อาจจะเป็นเหตุการณ์ใหญ่ ๆ เช่น ภัยพิบัติทางธรรมชาติ การเปลี่ยนแปลงทางการเมืองเป็นต้น ที่มีผลต่อทัศนคติและพฤติกรรมของผู้ร่วมการทดลอง จนกระทั่งว่า เป็นไปไม่ได้ที่จะกำหนดว่า ความเปลี่ยนแปลงของตัวแปรตาม เกิดจากการเปลี่ยนแปลงตัวแปรอิสระ หรือเกิดจากเหตุการณ์

พัฒนาการ/การเติบโต (Maturation)

ผู้ร่วมการทดลองอาจจะเปลี่ยนไปในระยะการทดลอง หรือแม้แต่ระหว่างการวัดผลยกตัวอย่างเช่น เด็กเล็ก ๆ อาจจะเจริญวัยขึ้น ทำให้สามารถตั้งสมาธิได้ดีขึ้นทั้งความเปลี่ยนแปลงแบบถาวร เช่นการเติบโตทางกายภาพ หรือแบบชั่วคราว เช่น ความล้า อาจจะเป็นข้อที่อธิบายความเปลี่ยนแปลงของตัวแปรตามได้คือ อาจจะเปลี่ยนปฏิกิริยาของผู้ร่วมการทดลองต่อการเปลี่ยนแปลงตัวแปรอิสระดังนั้น เมื่อจบการศึกษาแล้ว นักวิจัยอาจจะไม่สามารถกำหนดเหตุของความเปลี่ยแปลง ว่าเกิดเพราะเวลาหรือเพราะตัวแปรอิสระ

การทดสอบซ้ำ ๆ (Repeated testing)

การวัดผู้ร่วมการทดลองซ้ำ ๆ กันอาจทำให้เกิดความเอนเอียงคือผู้ร่วมการทดลองอาจจะจำคำตอบที่ถูกได้ หรือว่า อาจจะรู้ว่าตนเองกำลังได้รับการทดสอบการสอบวัดระดับเชาวน์ปัญญาบ่อย ๆ ปกติจะทำให้ได้คะแนนสูงขึ้นแต่แทนที่จะสรุปได้ว่า ทักษะที่เป็นมูลฐานได้เปลี่ยนไปอย่างถาวร แต่ปรากฏการณ์ทดสอบ (testing effect) ที่พบเช่นนี้ ซึ่งเป็นเรื่องเสี่ยงต่อความสมเหตุสมผล สามารถใช้เป็นสมมติฐานอีกอย่างหนึ่งได้

การเปลี่ยนเครื่องมือ (Instrument change)

เครื่องมือที่ใช้ในกระบวนการทดสอบสามารถเปลี่ยนผลการทดลองได้หรือนี่อาจหมายถึงคนสังเกตการณ์มีสมาธิมากขึ้น หรือเกิดปรากฏการณ์ priming หรือมีการเปลี่ยนกฎเกณฑ์ในการตัดสินใจอย่างไม่ได้ตั้งใจหรืออาจจะเป็นปัญหาเกี่ยวกับค่าวัดที่ผู้ร่วมการทดลองแจ้งเองที่ทำในเวลาต่าง ๆ กันดังนั้น ถ้าเปลี่ยนการใช้เครื่องมือ ก็จะมีผลต่อความสมเหตุสมผลภายในของข้อสรุปหลัก เพราะว่า สามารถหาคำอธิบายอื่น ๆ ได้

การถดถอยไปยังค่ามัชฌิม (Regression toward the mean)

นี่เป็นความผิดพลาดที่เกิดขึ้นเมื่อเลือกผู้รับการทดลองโดยอาศัยคะแนนทดสอบที่สุด ๆ คือที่ห่างไปจากค่ามัชฌิมเลขคณิตมากยกตัวอย่างเช่น เมื่อเลือกเด็ก ๆ ที่มีคะแนนการอ่านที่แย่ที่สุดเพื่อร่วมโปรแกรมปรับปรุงการอ่าน ค่าที่ดีขึ้นของคะแนนทดสอบทำที่ท้ายโปรแกรมอาจจะเกิดจากการถดถอยไปยังค่ามัชฌิม ไม่ใช่เป็นเพราะประสิทธิภาพของโปรแกรมคือ ถ้าทดสอบเด็กอีกทีหนึ่งก่อนที่จะเข้าร่วมโปรแกรม เด็กมีโอกาสที่จะมีคะแนนดีขึ้นอยู่แล้วโดยนัยเดียวกัน ค่าคะแนนสุด ๆ ที่เรียกว่า extreme outlier อาจจะวัดได้ในตัวอย่างเดียวของการสอบ แต่ถ้าทดสอบซ้ำ คะแนนจะกลับไปตกลงในช่วงกระจายตัวทางสถิติที่ปกติ

ความตาย/การลดจำนวน (Mortality)

ความผิดพลาดเช่นนี้จะเกิดขึ้นถ้าการอนุมานทำต่อผู้ร่วมการทดลองที่ร่วมมือตั้งแต่ต้นไปจนจบเท่านั้นแต่ผู้ร่วมการทดลองอาจจะออกจากงานศึกษาก่อนจบ และอาจจะเป็นเพราะการศึกษาด้วยซ้ำยกตัวอย่างเช่น ถ้าพบว่าบุคคลที่ผ่านโปรแกรมการฝึกเลิกสูบบุหรี่ มีอัตราการเลิกบุหรี่ที่สูงกว่าคนในกลุ่มควบคุมมากแต่ว่า ในกลุ่มทดลอง มีคน 60% จากเริ่มต้นเท่านั้นที่ยังเหลืออยู่ในโปรแกรมเมื่อจบและถ้าการลดจำนวนลงเช่นนี้ สัมพันธ์อย่างเป็นระบบต่อลักษณะอะไรบางอย่างของงานศึกษา หรือการจัดแจงตัวแปรอิสระ หรือการใช้เครื่องมือ หรือว่า ถ้าการถอนตัวออกจากลุ่มทดลองมีผลให้เกิดความเอนเอียงในการเปรียบเทียบระหว่างกลุ่ม ก็จะมีคำอธิบายอย่างอื่นเป็นจำนวนมากที่สามารถใช้ได้กับผลต่างที่พบ

อันตรกิริยาระหว่างการเลือก-การเจริญวัย (Selection-maturation interaction)

นี่เกิดขึ้นเมื่อตัวแปรต่าง ๆ เกี่ยวกับผู้ร่วมการทดลอง เช่น สีผม สีผิว เป็นต้น และตัวแปรเกี่ยวกับอายุ เช่น อายุ ขนาดกาย เป็นต้น มีผลต่อกันและกันดังนั้น ถ้ามีผลต่างกันระหว่างสองกลุ่ม ผลอาจจะมาจากความแตกต่างของอายุ ไม่ใช่จากสีผมเป็นต้น

การแพร่ (Diffusion)

ถ้าผลที่ได้จากการบำบัดรักษา กระจายจากกลุ่มทดลองไปยังกลุ่มควบคุม อาจจะสังเกตเห็นการไม่มีความต่างกันระหว่างกลุ่มทดลองและกลุ่มควบคุมแต่นี่ไม่ได้หมายความวา ตัวแปรอิสระไม่มีผล หรือว่า ตัวแปรตามไม่สัมพันธ์กับตัวแปรอิสระ

การแข่งกัน

พฤติกรรมของบุคคลในกลุ่มควบคุมอาจจะเปลี่ยนไปเพราะงานศึกษายกตัวอย่างเช่น คนในกลุ่มควบคุมอาจจะขยันทำงานเพิ่มเพื่อไม่ให้สมาชิกกลุ่มทดลองทำได้ดีกว่าซึ่งก็ไม่ได้หมายความว่า ตัวแปรอิสระไม่มีผล หรือว่า ตัวแปรตามไม่สัมพันธ์กับตัวแปรอิสระและโดยนัยตรงกันข้าม ค่าผลต่างที่พบในตัวแปรตามอาจจะมีเหตุมาจากกลุ่มควบคุมที่ท้อใจ ขยันน้อยกว่ามีแรงจูงใจน้อยกว่า ไม่ใช่จากความต่างของตัวแปรอิสระ

ความเอนเอียงของผู้ทดลอง

ความเอนเอียงของผู้ทดลอง (Experimenter bias) เกิดขึ้นเมื่อผู้ทำการทดลองมีผลต่อผลต่างที่ได้อย่างไม่ได้ตั้งใจ โดยประพฤติต่อสมาชิกกลุ่มทดลองและกลุ่มควบคุมต่าง ๆ กันซึ่งสามารถกำจัดได้โดยออกแบบการทดลองเป็นแบบอำพรางสองฝ่าย ที่ผู้ทำการทดลองจะไม่รู้ว่าผู้ร่วมการทดลองอยู่ในกลุ่มไหน

สำหรับความเสี่ยง 8 อย่าง มีตัวย่อภาษาอังกฤษที่จำได้ง่าย ๆ คือ THIS MESS ซึ่งหมายถึงอักษรแรกในคำต่อไปนี้ คือ[6]Repeated Testing, History, Instrument change, Statistical Regression toward the mean, Maturation, Experimental Mortality, Selection Bias and Selection Interaction.