งานศึกษา meta-analysis ที่ใช้งานวิจัยหลายงานที่มีขนาดตัวอย่างน้อย ไม่สามารถพยากรณ์ผลงานวิจัยงานเดียวที่มีขนาดตัวอย่างมากได้[10] นักวิชาการบางท่านแย้งว่า จุดอ่อนของวิธีการศึกษาเช่นนี้ก็คือ ไม่สามารถจะควบคุมความเอนเอียงต่าง ๆ ที่มาจากงานที่ใช้เป็นข้อมูลได้ คืองาน meta-analysis ที่มีการออกแบบดี แต่ใช้ข้อมูลจากงานวิจัยที่มีการออกแบบที่ไม่ดี ก็ยังจะคงให้ผลเป็นค่าต่าง ๆ ทางสถิติที่ไม่ดี[11] ดังนั้น ควรจะใช้งานวิจัยที่มีระเบียบวิธี (methodology) ที่ดีเท่านั้น ซึ่งเป็นกฎปฏิบัติที่เรียกว่า "best evidence synthesis" (แปลว่า การสังเคราะห์ผลโดยใช้หลักฐานที่ดีที่สุด)ส่วนนักวิชาการท่านอื่นคิดว่าสามารถรวมงานวิจัยที่ออกแบบไม่ค่อยดีได้ โดยเพิ่มตัวแปร (study-level predictor) ที่บ่งถึงคุณภาพระเบียบวิธีของผลงาน เพื่อที่จะตรวจสอบคุณภาพของผลงานเทียบกับระดับของผลที่เป็นประเด็นวิจัยได้[12] แต่ก็มีนักวิชาการท่านอื่นที่แย้งว่า วิธีที่ดีกว่าก็คือให้เก็บรักษาข้อมูลของความแปรปรวน (variance) ของตัวอย่างการศึกษาไว้ และให้ใช้ข้อมูลงานวิจัยที่มีอยู่ให้มากที่สุด เพราะว่า กฎเกณฑ์ที่คัดสรรงานวิจัยโดยคุณภาพระเบียบวิธี จะทำให้เกิดความไม่เป็นกลาง (subjectivity) เป็นการทำเหตุผลที่จะศึกษาโดยวิธีนี้ให้เป็นโมฆะ[13]

ความเอนเอียงในการตีพิมพ์

ข้อมูลจากงานวิจัยต่าง ๆ แสดงโดยใช้ funnelplot เป็นรูปแบบที่แสดงว่า ไม่มีความเอนเอียงในการตีพิมพ์ คืองานวิจัยที่มีตัวอย่างมากที่สุด (จุดใหญ่กว่าที่อยู่บน ๆ) แสดงค่าที่ใกล้กับผลเปล่า ส่วนงานวิจัยมีตัวอย่างน้อย (จุดเล็กกว่าที่อยู่ล่าง ๆ) แสดงค่าที่ต่าง ๆ กันโดยสุ่มfunnelplot รูปแบบที่แสดงว่า มีความเอนเอียงในการตีพิมพ์ คือ งานวิจัยที่มีตัวอย่างมากที่สุดก็ยังแสดงค่าที่ใกล้กับผลเปล่า แต่ว่า ความเอนเอียงในการที่จะไม่ตีพิมพ์งานวิจัยที่แสดงผลลบ ทำให้สิ่งตีพิมพ์โดยภาพรวมดูเหมือนจะแสดงว่า ประเด็นการศึกษามีผลบวก คือสมมติฐานที่ตั้งไว้ถูกต้องแล้ว

ปัญหาอีกอย่างหนึ่งที่อาจจะมีก็คือการใช้ข้อมูลที่มีการตีพิมพ์ซึ่งอาจจะทำให้แสดงผลที่เกินความจริงเพราะเหตุแห่งความเอนเอียงในการตีพิมพ์ เพราะว่า งานวิจัยหลายงานได้พบว่า งานวิจัยที่แสดงผลเปล่า (หรือผลลบ) มีโอกาสน้อยกว่าที่จะรับเผยแพร่ยกตัวอย่างเช่น นักวิจัยอาจจะไม่ได้สืบหาผลงานที่เป็นวิทยานิพนธ์ หรืองานที่ไม่ได้รับการเผยแพร่นี่เป็นปัญหาที่แก้ได้ยาก เพราะไม่มีใครรู้ว่า มีผลงานกี่งานที่ไม่ได้รายงาน[14]

ความเอนเอียงในการตีพิมพ์เช่นนี้มีผลเป็นขนาดผล (ที่เป็นประเด็นวิจัย) ที่ไม่ตรงกับความจริง ทำให้เกิดเหตุผลวิบัติประเภท base rate fallacyที่นัยสำคัญของงานที่เกิดการตีพิมพ์เกินความจริง เพราะว่างานอื่น ๆ (ที่ไม่แสดงนัยสำคัญ) ผู้วิจัยไม่ส่งเพื่อพิมพ์ หรือวารสารปฏิเสธที่จะพิมพ์ปัญหาเช่นนี้ต้องมีการพิจารณาอย่างถี่ถ้วนเมื่อแปลผลที่เกิดจาก meta-analysis[14][15]

การแจกแจงของขนาดผล (distribution of effect sizes) สามารถเห็นได้ด้วยการวาด funnel plot ซึ่งเป็นแผนภาพกระจายของขนาดตัวอย่าง (sample size) และขนาดผล (effect size)คือจริง ๆ แล้ว ในขนาดผลบางอย่าง ตัวอย่างยิ่งมีน้อยเท่าใด ความน่าจะเป็นก็จะสูงขึ้นเท่านั้นในการพบขนาดผลนั้นในขณะเดียวกัน ขนาดผลยิ่งสูงขึ้นเท่าไร ความน่าจะเป็นที่งานที่มีตัวอย่างมากจะแสดงผลที่ระดับนั้นโดยสุ่มก็เป็นไปได้น้อยลงเท่านั้นถ้ามีงานที่แสดงผลเปล่าที่ไม่ได้พิมพ์เป็นจำนวนมาก งานที่แสดงผลบวกที่เหลือจะทำให้เกิด funnel plot ที่ขนาดผลจะมีลักษณะเป็นสัดส่วนผกผันกับขนาดตัวอย่างกล่าวโดยอีกนัยก็คือ ขนาดผลยิ่งสูงขึ้นเท่าไร ขนาดตัวอย่างก็น้อยลงเท่านั้นดังนั้นส่วนหนึ่งของผลที่แสดงนัยสำคัญนั้น จะเป็นค่าที่เกิดขึ้นโดยสุ่มและไม่มีความสมดุลใน plot เพราะงานวิจัยแสดงผลลบไม่ได้รับการพิมพ์โดยเปรียบเทียบกัน ถ้างานวิจัยโดยมาก (ทั้งผลบวกผลลบผลเปล่า) ได้รับการพิมพ์ ขนาดผลที่แสดงจะไม่มีอิทธิพลจากขนาดตัวอย่าง และ funnel plot จะออกมาสมดุลดังนั้น ถ้าไม่มีความเอนเอียงในการตีพิมพ์ ก็จะไม่มีความสัมพันธ์กันระหว่างขนาดตัวอย่างและขนาดผล[16] ดังนั้น ความสัมพันธ์เชิงลบระหว่างขนาดตัวอย่างและขนาดผลจึงบอกเป็นนัยว่า งานศึกษาที่พบนัยสำคัญในผล มีการตีพิมพ์มากกว่ามีวิธีการหลายอย่างที่สามารถใช้แก้ปัญหาความเอนเอียงในการตีพิมพ์เช่นการตัดข้อมูลออกแต่จะต้องเดาว่า ควรจะตัดออกที่จุดไหน

วิธีการตรวจจับความเอนเอียงในการตีพิมพ์เป็นเรื่องที่ยังไม่มีที่ยุติ เพราะมักจะมีกำลังทางสถิติต่ำในการตรวจจับ และสามารถแม้จะให้ผลบวกที่ไม่เป็นจริงในบางกรณี[17] ยกตัวอย่างเช่น ในงานที่มีขนาดผลต่ำ ถ้ามีความแตกต่างกันในระเบียบวิธีระหว่างงานที่มีขนาดตัวอย่างน้อยและงานที่มีขนาดตัวอย่างมากอาจทำให้เกิดความแตกต่างกันของขนาดผลที่ดูเหมือนจะเป็นความเอนเอียงในการตีพิมพ์[โปรดขยายความ]

นอกจากนั้นแล้วยังมีวิธี "Tandem Method" ที่ใช้ในการวิเคราะห์หาความเอนเอียงในการตีพิมพ์ และสามารถลดระดับผลบวกที่ไม่จริง[18] เป็นวิธีที่มี 3 ขั้นตอนอย่างไรก็ดี มีการเสนอว่า 25% ของผลงาน meta-analysis ที่เกี่ยวกับจิตวิทยา อาจจะมีความเอนเอียงในการตีพิมพ์[18] แต่ว่า เนื่องจากว่าวิธีการตรวจจับมีกำลังต่ำ ดังนั้น การประเมินระดับความเอนเอียงในการตีพิมพ์อาจจะต่ำเกินไปจากความเป็นจริง

การอภิปรายเรื่องความเอนเอียงในการตีพิมพ์ มักจะพุ่งความสนใจไปในเรื่องข้อปฏิบัติในการตีพิมพ์ที่เน้นงานที่พบผลที่มีนัยสำคัญทางสถิติแต่ว่า จริง ๆ แล้ว แม้นักวิจัยเองก็มีพฤติกรรมที่เป็นปัญหาบางอย่าง เช่นการเปลี่ยนรูปแบบทางสถิติของงานวิจัยไปเรื่อย ๆ จนกระทั่งพบผลที่มีนัยสำคัญ เพื่อที่จะสนับสนุนสมมติฐานของตน[19][20] และเพราะว่า พฤติกรรมที่เป็นปัญหาเช่นนี้จะไม่ปรากฏว่ามีความสัมพันธ์กับขนาดตัวอย่างดังนั้น ปัญหาเช่นนี้จะไม่ปรากฏให้เห็นใน funnel plot และอาจจะไม่สามารถตรวจจับได้โดยใช้วิธีอื่น ๆ ที่ใช้ตรวจจับความเอนเอียงในการตีพิมพ์

นอกจากนั้นแล้ว ยังมีปัญหาที่เป็นจุดอ่อนอื่น ๆ รวมทั้ง Simpson's paradox (คืองานวิจัยมีขนาดตัวอย่างน้อยสองงานอาจจะชี้ผลไปทางหนึ่ง ในขณะที่งานรวมข้อมูลอาจจะชี้ไปอีกทางหนึ่ง) และความไม่เป็นกลาง (subjectivity) ในวิธีการประมวลค่าของผล หรือในการตัดสินว่างานวิจัยงานไหนควรจะได้รับเลือก[21]

ส่วนนี้รอเพิ่มเติมข้อมูล คุณสามารถช่วยเพิ่มข้อมูลส่วนนี้ได้

ความเอนเอียงโดยแผนงานเงื่อนงำ

ปัญหาที่หนักที่สุดของ meta-analysis มักจะเกิดขึ้นเมื่อผู้ทำงานมีแรงจูงใจทางเศรษฐกิจ ทางสังคม หรือทางการเมือง เช่นมีความต้องการที่จะสนับสนุนหรือคัดค้านการออกกฎหมายผู้ทำงานที่มีแรงจูงใจเช่นนี้มีโอกาสมากกว่าที่จะใช้ meta-analysis อย่างผิด ๆ เพราะความเอนเอียงส่วนตัวยกตัวอย่างเช่น งานวิจัยที่แสดงผลสอดคล้องกับความต้องการของผู้ทำงาน Meta analysis มีโอกาสที่จะรับเลือกใช้ข้อมูล (ในการประมวลผล) ในขณะที่งานที่ไม่มีความสอดคล้อง อาจจะไม่ได้รับความสนใจหรืออาจจะกำหนดว่า ไม่น่าเชื่อถือ ยิ่งไปกว่านั้น งานวิจัยที่แสดงผลสอดคล้องเองอาจจะมีความเอนเอียงอยู่แล้ว หรือผู้ทำงานของงานวิจัยนั้นเองอาจจะได้รับผลประโยชน์ในการแสดงผลที่สนับสนุนจุดมุ่งหมายทางการเมือง ทางสังคม หรือทางเศรษฐกิจโดยใช้วิธีเลือกข้อมูลส่วนน้อยกว่าแต่สนับสนุนผลที่ต้องการ และไม่เลือกเอาข้อมูลที่ครอบคลุมกว่าแต่ไม่สนับสนุนอิทธิพลของความเอนเอียงเหล่านี้ต่อผลงาน meta-analysis เป็นไปได้เพราะว่า ระเบียบวิธีในการทำงาน meta-analysis สามารถยืดหยุ่นได้[21]Stegenga, J. (2011). "Is meta-analysis the platinum standard?". Studies in History and Philosophy of Biological and Biomedical Sciences. 42 (4): 497–507. doi:10.1016/j.shpsc.2011.07.003.

ในปี ค.ศ. 2011 มีงานวิจัยหนึ่งที่มุ่งจะเปิดเผยการขัดกันแห่งผลประโยชน์ของงานวิจัยที่ได้รับเลือกเพื่อใช้ในงาน meta-analysis ทางการแพทย์ งานวิจัยทำการปริทัศน์งาน meta-analysis ต่าง ๆ 29 งาน แล้วพบว่า การขัดกันแห่งผลประโยชน์ของงานวิจัยที่ได้รับเลือกเพื่อใช้ในงาน แทบไม่มีการเปิดเผยโดยประการทั้งปวงงาน 29 งานนี้รวม

• 11 งานจากวารสารการแพทย์ทั่วไป
• 15 งานจากวารสารการแพทย์เฉพาะทาง
• 3 งานจากฐานข้อมูล Cochrane Database of Systematic Reviews

งาน 29 งานนี้ประมวลข้อมูลจากงานวิจัยแบบสุ่มและมีกลุ่มควบคุม (randomized controlled trials) 509 งานจากงานเหล่านี้ 318 งานรายงานแหล่งทุนการวิจัย โดยที่ 219 งาน (69%) รับทุนมาจากอุตสาหกรรมและธุรกิจ[โปรดขยายความ]จากงาน 509 งาน 132 งานรายงานการขัดกันแห่งผลประโยชน์ของผู้ทำ โดยมี 91 งาน (69%) ที่เปิดเผยว่า ผู้ทำงานหนึ่งหรือมากกว่าหนึ่ง มีผลประโยชน์ทางการเงินร่วมกับอุตสาหกรรมและธุรกิจแต่ว่า ข้อมูลเช่นนี้ แทบไม่เคยเปิดเผยในงาน meta-analysis เลยคือ จากงาน 29 งาน มีเพียงแค่ 2 (7%) ที่แสดงแหล่งทุนการวิจัย และไม่มีการรายงานผลประโยชน์ทางการเงินของผู้ทำงานวิจัยเลยผู้ทำงานปริทัศน์นี้สรุปว่า

เพราะไม่มีการชี้แจงความขัดกันแห่งผลประโยชน์ เนื่องจากได้รับเงินทุนหรือมีผลประโยชน์ทางการเงินร่วมกับอุตสาหกรรมและธุรกิจ สำหรับงานวิจัยแบบสุ่มและมีกลุ่มควบคุมที่รวมอยู่ใน meta-analysis(ดังนั้น) ความเข้าใจและการประเมินหลักฐานที่ได้มาจาก meta-analysis อาจจะมีความบิดเบือน[22]