บางครั้งก็มีประโยชน์ที่ทำการเปรียบเทียบวารสารวิชาการและกลุ่มงานวิจัยที่ต่างประเภทกัน ตัวอย่างเช่น ผู้อุปถัมภ์งานวิจัยอาจประสงค์ที่จะเปรียบเทียบผลเพื่อประเมินผลิตภาพของโครงการวิจัย ในกรณีเช่นนี้ มาตรการเชิงวัตถุวิสัยในความสำคัญของวารสารที่ต่างประเภทกันย่อมมีความจำเป็น และปัจจัยกระทบ (หรือจำนวนการตีพิมพ์) ย่อมเป็นแหล่งเผยแพร่เพียงแหล่งเดียว อย่างไรก็ดี เราพึงต้องจดจำให้ดีว่าสาขาวิชาการที่แตกต่างกันย่อมมีความเป็นไปได้ที่จะมีความแตกต่างกันได้มากในแนวปฏิบัติที่ใช้ในการอ้างอิงและการเผยแพร่ ซึ่งจะมีผลกระทบไม่เพียงจำนวนการถูกอ้างอิงเท่านั้นแต่ยังมีผลต่อความรวดเร็วอีกด้วย บทความส่วนใหญ่ในสาขาวิชาต่างๆ จะอยู่มีช่วงที่ถูกอ้างอิงมากที่สุดหลังการตีพิมพ์ไม่นาน ในเกือบทุกกรณี การพิจารณาจัดลำดับของวารสารให้ตรงตามประเภทของผู้รู้เสมอกัน (peers) ที่ทำการตรวจแก้จะมีความเหมาะสมกว่าการใช้ปัจจัยกระทบที่ยัง "ดิบ" อยู่

การนำไปใช้ในทางที่ผิด

• ผู้ทบทวนหรือตรวจแก้ทางวิชาการที่เกี่ยวข้องกับการประเมินอย่างเป็นระบบ โดยเฉพาะสถาบันที่สอนระดับระดับปริญญาเอกมักนิยมใช้รายชื่อปัจจัยกระทบของ ISI มาใช้ในการตัดสินผลทางวิชาการที่ออกมา ซึ่งวิธีนี้ก่อให้เกิดความลำเอียงที่ทำให้งานวิจัยบางประเภทได้รับการประเมินค่าต่ำกว่าความเป็นจริงโดยอัตโนมัติ และยังเป็นการบิดเบือนบทบาทโดยรวมของคณาจารย์ในภาควิชาที่เป็นผู้ให้การปรึกษาแนะนำมาโดยตลอด
• ค่าสัมบูรณ์ของปัจจัยกระทบไม่มีความหมายในวิชาจุลชีววิทยา ในขณะที่มีความหมายมากในสาขาวิชาสมุทรศาสตร์ ค่าดังกล่าวบางครั้งถูกนำไปโฆษณาโดยสำนักพิมพ์ด้านวิทยาศาสตร์
• การเปรียบเทียบปัจจัยกระทบระหว่างสาขาวิชาที่ต่างกันเป็นสิ่งที่ทำไม่ได้ แต่ก็ปรากฏว่ามีการเปรียบเทียบในลักษณะนี้อย่างกว้างขวางอยู่ ไม่เฉพาะวารสารวิชาการ ยังมีการใช้เปรียบเทียบนักวิทยาศาสตร์และสถาบันการศึกษาหรือสถาบันวิจัยอีกด้วย ตัวอย่างเช่น เป็นไปไม่ได้ที่จะกล่าวว่าภาควิชาที่เป็นเจ้าของวารสารวิชาการที่ได้ค่าปัจจัยกระทบ 2 ซึ่งต่ำนั้น ต่ำตามไปด้วย ซึ่งกรณีดังกล่าวนี้ใช้ไม่ได้เลยกับสาขาวิศวกรรมเครื่องกลซึ่งมีวารสารที่ได้ปัจจัยกระทบต่ำเพียง 2 ฉบับที่ได้ค่าต่ำที่ 2
• นอกสาขาวิทยาศาสตร์ ปัจจัยกระทบมีความเหมาะสมก็เฉพาะสาขาที่มีรูปแบบหรือแนวการตีพิมพ์วารสารคล้ายกัน (เช่น สาขาเศรษฐศาสตร์) ซึ่งการตีพิมพ์งานวิจัยเกือบทั้งหมดอยู่ในรูปของบทความทางวิชาการที่อ้างอิงบทความในวารสารวิชาการอื่น ปัจจัยผลกระทบโดยนัยดังกล่าวจึงใช้ไม่ได้กับสาขาวรรณคดีซึ่งเป็นการตีพิมพ์ในรูปของหนังสือที่อ้างหนังสือด้วยกัน ดังนั้น ISI จึงไม่ตีพิมพ์และเผยแพร่ปัจจัยกระทบในสาขามนุษยศาสตร์

การพลิกแพลงและบิดเบือน

วารสารวิชาการบางวารสารอาจยอมรับและใช้นโยบายบรรณาธิการของวารสารวิชาการที่ค่าของปัจจัยกระทบกำลังเพิ่มสูงขึ้น นโยบายบรรณาธิการของวารสารฉบับดังกล่าวอาจไม่เกี่ยวข้องกับการปรับปรุงคุณภาพของงานวิทยาศาสตร์ที่ตีพิมพ์นั้นเลยก็เป็นได้ บางครั้งวารสารอาจตีพิมพ์บทความวิชาการในจำนวนร้อยละที่มากขึ้นก็ได้ ทั้งๆ ที่บทความวิจัยไม่ได้ถูกอ้างอิงมามากกว่า 3 ปี บทความที่ได้ผ่านการทบทวนโดยผู้รู้เสมอกันเกือบทั้งหมดได้ถูกอ้างอิงอย่างน้อย 1 ครั้งภายในเวลา 3 ปีที่ได้รับการตีพิมพ์ ดังนั้นบทความต่างๆ ที่ผ่านการทบทวนก็จะทำให้ค่าปัจจัยกระทบของวารสารสูงขึ้น เว็บไซต์ของทอมสันไซแอนติฟิก ได้ให้แนวทางสำหรับใช้ถอนวารสารดังกล่าวออกจากสายการจำหน่าย นักวิชาการประเภทที่กล่าวนี้ได้ชัดเจน[1]

การอ้างอิงตนเอง

มีหลายวิธี โดยไม่นับวิธีจงใจอย่างเลวร้ายที่มีอยู่ ที่บทความวิชาการอ้างอิงวารสารฉบับเดียวกันเพื่อจงใจทำให้ค่าของปัจจัยกระทบเพิ่มขึ้น

บทบรรณาธิการไม่ถือเป็นบทความในวารสาร แต่เมื่ออ้างอิงถึง ซึ่งมักเป็นบทความในวารสารเดียวกัน จำนวนครั้งของการอ้างอิงก็จะเพิ่มจำนวนการถูกอ้างของบทความนั้นๆ และปรากฏการณ์ลักษณะนี้ยากต่อการประเมินเนื่องจากข้อแตกต่างระหว่างการวิพากษ์วิจารณ์ในบทบรรณาธิการกับบทความสั้นดั้งเดิมมีน้อยมาก "จดหมายถึงบรรณาธิการ" อาจเป็นได้ทั้งสองประเภท

บรรณาธิการวารสารอาจแนะนำให้ผู้เขียนบทความอ้างบทความในวารสารเดียวกันกับที่ตนเป็นผู้เขียน ระดับของการปฏิบัติในลักณะนี้มีผลต่อการคำนวณค่าของปัจจัยกระทบรวมทั้งที่ปรากฏในรายงานการอ้างอิงในวารสารซึ่งก็ควรได้รับการตรวจสอบด้วย การอภิปรายเกี่ยวกับผลกระทบของการอ้างอิงตนเองสามารถดูได้จากเว็บไซต์ของ ISI ซึ่งจะบอกวิธีการแก้ไขไว้ให้ด้วยถ้าต้องการ อย่างไรก็ดี การอ้างอิงบทความในวารสารเดียวกันดังกล่าวกลับมีมากในวารสารที่เป็นสาขาวิชาพิเศษที่เฉพาะมากๆ ไม่ถือว่าเสียหายมากนัก แต่ถ้าเป็นการตั้งใจทำ ผลก็จะปรากฏให้เห็นได้ชัดเจนเอง เมื่อ 1) วารสารวิชาการฉบับนั้นเป็นวารสารที่มีปัจัยกระทบค่อนข้างต่ำ และ 2) วารสารนั้นตีพิมพ์บทความเพียงไม่กี่เรื่องต่อปี

ความเบ้ (skewness)

บทบรรณาธิการของวารสารเนเจอร์แถลงไว้ว่า

"...ตัวอย่างเช่น เราได้วิเคราะห์การอ้างอิงของบทความต่างๆ แต่ละเรื่องใน เนจอร์ พบว่า 89% ของตัวเลขเมื่อปีที่แล้วเกิดจากการอ้างอิงของบทความของเราเพียง 25% บทความที่ถูกอ้างอิงใน เนเจอร์ จากปี พ.ศ. 2445-46 ส่วนใหญ่เกี่ยวกับเรื่องจีโนมของหนูซึ่งตีพิมพ์ในเดือนธันวาคม พ.ศ. 2545 บทความดังกล่าวแสดงให้เห็นถึงการถึงจุดสุดยอดของการทุ่มเททำงานวิจัยอันยิ่งใหญ่ แต่กลับเป็นประเด็นสำคัญของการประชุมทางวิชาการมากกว่าที่จะเป็นการแสดงออกถึงการเข้าถึงอย่างลึกซึ้งที่ไม่ธรรมดา ถึงขณะนี้ บทความเรื่องนี้ได้ถูกอ้างอิงมากกว่า 1,000 ครั้ง ภายในช่วงปีแจงนับของ พ.ศ. 2545 ปีเดียว บทความนี้ได้รับการนำไปอ้างอิงมากถึง 522 รายการ บทความของเราที่ถูกอ้างอิงจากปี พ.ศ. 2545-46 ที่มากเป็นลำดับถัดมา (บทความเกี่ยวกับได้แก่การจัดองค์หน้าที่ของโปรโนมยีสต์) ได้รับการอ้างอิง 351 รายการในปีนั้น มีอ้างอิงเพียง 50 จาก 1,800 รายการที่ตีพิมพ์ในช่วง 2 ปีดังกล่าว ที่ได้รับการอ้างอิงในปี พ.ศ. 2547 บทความเกือบทั้งหมดของเราได้รับการอ้างอิงน้อยกว่า 20 รายการ..."

แถลงการณ์ข้างต้นเป็นการเน้นให้เห็นว่า ปัจจัยกระทบหมายอ้างอิงถึงจำนวนการถูกอ้างอิงโดยเฉลี่ยของแต่ละบทความ และนี่ไม่ใช่การกระจายแบบเกาส์เซียน แต่เป็นการกระจายแบบแบรดฟอร์ด บทความทางวิชาการเกือบทั้งหมดที่ตีพิมพ์ในวารสารที่มีปัจจัยกระทบสูงกลับได้รับการอ้างอิงน้อยกว่าที่ปัจจัยกระทบอาจส่อให้เห็น และบางบทความก็ไม่ได้ถูกนำไปอ้างอิงเลย ดังนั้น จึงไม่ควรถูกนำปัจจัยกระทบของวารสารที่เป็นแหล่งไปใช้แทนการวัดปัจจัยกระทบของตัวบทความในวารสาร

นักวิจัยจากมหาวิทยาลัยแคลิฟอเนียร์ได้ประมาณว่าเมื่อนักวิทยาศาสตร์เขียนงานของตนและอ้างอิงบทความวิชาการของผู้อื่น มีเพียง 20% เท่านั้นที่อ่านบทความนั้นจริงๆ

การใช้ในการจ้างงานทางวิทยาศาสตร์

แม้การสร้างปัจจัยกระทบเดิมนั้นจะทำขึ้นเพื่อใช้วัดความมีชื่อเสียงของวารสารวิชาการเชิงวัตถุวิสัย แต่ในปัจจุบันได้นำมาประยุกต์กับการวัดผลิตภาพของนักวิทยาศาสตร์ที่มาสมัครงานกันมากขึ้นเป็นลำดับ วิธีที่กำลังใช้อยู่ในขณะนี้ก็คือการใช้ตรวจสอบปัจจัยกระทบของวารสารที่ตีพิมพ์บทความของนักวิทยาศาสตร์ผู้สมัครงาน วิธีนี้เป็นที่นิยมของผู้บริหารวิชาการ เพราะโดยทั่วไปแล้วผู้บริหารมักไม่รู้จักสาขาวิชาที่ผู้สมัครลึกซึ้งพอ และไม่รู้ว่าวารสารที่ตีพิมพ์บทความของผู้สมัครงานดีจริงหรือไม่ ปัจจัยกระทบจึงสามารถช่วยการพิจารณาตัดสินใจจ้างได้