หลังจากที่ สกอ. ได้มีการประชุมโครงการ และประกาศผลการจัดอันดับมหาวิทยาลัยของไทย ครั้งที่ 1 (ปี 2549) เมื่อวันที่ 31 ส.ค. 2549 แล้วนั้น ได้มีเสียงวิพากษ์วิจารณ์จากบุคคลหลายกลุ่ม รวมถึงผู้บริหารมหาวิทยาลัย คณาจารย์ และประชาชนทั่วไป ในข้อดี-ข้อเสียของการจัดอันดับครั้งแรกนี้ ในประเด็นเกี่ยวกับ ตัวชี้วัด ที่เลือกใช้ การกรอกข้อมูลที่ทำโดยแต่ละมหาวิทยาลัยเองนั้นมีความน่าเชื่อถือว่าครบถ้วนหรือไม่ การยอมรับข้อมูลและการนำไปใช้ได้จริงหรือไม่ ซึ่งในกรณีนี้ สกอ.มีวัตถุประสงค์ที่จะให้การจัดอันดับช่วยให้ข้อมูลเพื่อการตัดสินใจในการเลือกคณะและมหาวิทยาลัยในการสอบเอนทรานซ์ ผู้บริหารจากหลายมหาวิทยาลัยออกมากล่าวถึงปัญหาว่าการจัดอันดับนี้อาจนำมาซึ่งการทำลายขวัญและกำลังใจ เป็น "ตราบาป" ให้กับมหาวิทยาลัยหลาย ๆ แห่ง[ต้องการอ้างอิง] เนื่องจากมหาวิทยาลัย มีงบประมาณและโครงสร้างพื้นฐาน และปัจจัยที่เกี่ยวข้องในการพัฒนาที่ไม่เท่าเทียม ทำให้ไม่ควรนำมาเปรียบเทียบกัน[ต้องการอ้างอิง] หลายคนวิจารณ์ว่าการทำการจัดอันดับอาจซ้ำซ้อนกับที่ สมศ.ทำอยู่ แต่เร่งประกาศออกมาโดยไม่พร้อม ผู้นำในการแสดงความคิดเห็นไม่เห็นด้วยกับการจัดอันดับของ สกอ. คือ ศ.ดร.สุรพล นิติไกรพจน์ อธิการบดีมหาวิทยาลัยธรรมศาสตร์, ผศ.ดร.ณรงค์ พุทธชีวิน อธิการบดีมหาวิทยาลัยราชภัฏสุราษฎร์ธานี กล่าวว่า "การจัดอันดับมหาวิทยาลัยเป็นผลงานชิ้นโบว์ดำของ ดร.ภาวิช ก่อนเกษียณอายุราชการในเดือน กย. ปี 2549 นี้"[ต้องการอ้างอิง] ศ.ดร.ปรัชญา เวสารัชช์ อธิการบดีมหาวิทยาลัยสุโขทัยธรรมาธิราช (มสธ.) ในฐานะประธานที่ประชุมอธิการบดีแห่งประเทศไทย (ทปอ.) กล่าวว่า ตนคิดว่าการที่มหาวิทยาลัยส่วนใหญ่ไม่ยอมรับผลการจัดอันดับในครั้งนี้ ไม่ถือเป็นความขัดแย้งของมหาวิทยาลัย แต่เนื่องจากมหาวิทยาลัยส่วนใหญ่ไม่แน่ใจในตัวชี้วัดของ สกอ. เพราะเห็นว่าไม่สามารถประเมินคุณภาพที่สอดคล้องกับธรรมชาติของมหาวิทยาลัยได้ นอกจากนี้ ยังมี ศ.ดร.ธีรวุฒิ บุณยโสภณ อธิการบดีมหาวิทยาลัยเทคโนโลยีพระจอมเกล้าพระนครเหนือ ซึ่งออกมากล่าวถึงการคิดคะแนนที่ผิดพลาดของการจัดอันดับ และเรียกร้องให้ สกอ. ออกมายอมรับความผิดพลาดของการจัดอันดับครั้งนี้[7]

นอกจากนี้ยังถูกแย้งว่าการจัดอันดับมุ่งเน้นไปที่คณะการเรียนการสอนทางวิทยาศาสตร์โดยเฉพาะอย่างยิ่งคณะแพทยศาสตร์ มีผู้ให้ข้อสังเกตว่ามหาวิทยาลัยที่มีชื่อเสียง เช่น สถาบันเทคโนโลยีพระจอมเกล้าเจ้าคุณทหารลาดกระบัง และ มหาวิทยาลัยเกษตรศาสตร์ ได้รับการจัดอันดับที่ต่ำกว่ามหาวิทยาลัยที่มีชื่อเสียงน้อยกว่าเนื่องจากไม่มีคณะแพทยศาสตร์[ต้องการอ้างอิง] ซึ่งมักมีโรงพยาบาลในสังกัดและทำให้ได้รับเงินประมาณแผ่นดินที่สูง ทั้งที่อาจจะไม่เกี่ยวกับการเรียนการสอนโดยตรง แต่เป็นบริการสังคมซึ่งเป็นอีกหนึ่งพันธกิจของมหาวิทยาลัย จึงไม่น่าแปลกใจที่มหาวิทยาลัยมหิดลซึ่งเน้นทางด้านสาธารณสุขศาสตร์จะได้รับการจัดอันดับเป็นที่หนึ่ง ทั้งๆ ที่คณะวิชาด้านอื่นๆ อาจไม่เป็นที่รู้จักของสังคมนัก[ต้องการอ้างอิง] มหาวิทยาลัยที่เน้นผลิตบัณฑิตทางด้านสังคมศาสตร์ เช่น มหาวิทยาลัยธรรมศาสตร์ จึงปฏิเสธที่จะเข้าร่วมการจัดอันดับตั้งแต่ต้น เพราะศาสตร์และผลงานวิจัยไม่เอื้อให้ได้รับคะแนนประเมินสูง ทั้งๆ ที่บัณฑิตทางสายสังคมศาสตร์กลับเป็นที่ต้องการของตลาดแรงงานและได้รับค่าจ้างแรงงานที่ดีกว่า ตลอดจนนักเรียนระดับมัธยมศึกษาตอนปลายก็ให้ความสนใจในจำนวนสูงมากกว่าคณะทางสายวิทยาศาสตร์ของมหาวิทยาลัยชื่อดัง เช่น มหิดล เกษตรศาสตร์ หลายร้อยเท่าตัว [ต้องการอ้างอิง]

ส่วนข้อดีของการจัดอันดับมหาวิทยาลัยนั้น น่าจะอยู่ที่เป็นการกระตุ้นให้มหาวิทยาลัยได้พิจารณาตนเอง และพัฒนามหาวิทยาลัยให้เป็นที่ยอมรับได้ในระดับนานาชาติ[8][9]