當全球大學排名已經成為一股趨勢且愈來愈具有影響力時，排名本身應如何增進效度與信度，讓排名結果更取信於人？英國《時報高等教育增刊》（The Times Higher Education Supplement）「世界大學排名」主持人Ben Sowter日前造訪臺灣，提到未來改進的方向，強調將更加強與全球各大學合作建立線上資料庫，並計畫建置個人化大學排名系統，以增進排名品質。
2007年指標及資料庫的變動
自2004年起就以周報形式專門報導高等教育相關訊息與公布「世界大學排名」的英國《時報高等教育增刊》，每年公布排行結果時，總會成為全球大學與排名學者討論的焦點。Ben Sowter於今（2008）年4月11日來臺，並且走訪高等教育評鑑中心，與評鑑中心人員進行深入對談。
評鑑中心副研究員侯永琪提出，2007年時報「世界大學排名」在資料蒐集上產生重大變化，雖然整體指標架構仍維持2006年原有的項目與權重，但在聲譽調查的受訪者人數與論文資料庫的使用，則與2006年有很大的不同。在同儕評量方面受訪者增加至5,101人，約38%，企業雇主評量的受訪者則增加約一倍以上。
此外，研究成果中「論文被引用率」的資料庫由ESI改為採用SCOPUS資料庫。與ESI相較，SCOPUS較多工程與醫療健康學術論文，也收錄更多亞太地區的文章，但ESI卻收錄更多的人文學術論文，而且有更多資料蒐集分析的經驗。而SCOPUS分數的計算則以採用Z分數在每一項指標中找出正常曲線，此一統計方式可使分數與平均值相關，而非只是將排名第一之學校調至最高分數100分，藉以呈現各校之間的差異處。
對此轉變，協助《時報高等教育增刊》「世界大學排名」進行相關資料蒐集與分析的Quacquarelli Symonds（QS）公司研究小組負責人Ben Sowter回應：「從ISI轉而使用SCOPUS的主因，是SCOPUS為目前最符合我們評鑑方法的系統，因為我們需要更精確的數據來源，來支持我們的方法論。SCOPUS可以結合並強化我們所創造的方法論，包括使用Z分數，都有助於增加排名的穩定性，更可有效的追蹤歷年的研究表現。」
指標品質與資料蒐集為兩大困境
至今，時報「世界大學排名」仍存在一些待克服的問題，其中以指標品質與資料蒐集為主要挑戰。指標品質方面，侯永琪認為，雖然「增刊」採用質化與量化的多元指標，嘗試呈現大學教學、研究與國際化的面貌，但其代表教學品質生師比與國際化中國際學生與教師比例的評量指標過於簡化，且彼此相關也相當低，難以真正代表學校學術的真實面貌。
有些批評者也認為，「增刊」所採用「聲譽評量」問卷調查之資料蒐集方式除了招致過於主觀的批評，也未能進一步解釋受訪者所分布的國家，而其2007年回收率不到1%，更令人質疑排名的效度。Ben Sowter並坦承，有些指標也因定義上的文化差異，而被質疑排名結果的公平性，如學生與教師身分界定、講座教授是否應被計算在內等。
擬與大學加強合作 增加主動提供資訊的動機
針對上述問題，Ben Sowter在由臺灣愛思唯爾有限公司（Taiwan Elsevier）與國立中央大學共同舉辦的「全球學術評鑑歐亞論壇研究競爭力：與世界排名指標接軌」研討會中，提出一些未來研究方法上可以改善的策略，但他強調，這些仍需依靠大學的協助。
Ben Sowter所提出的策略，簡而言之就是提升大學參與的動機，來解決目前大學排名「指標品質」與「資料蒐集」的兩項困境。他指出，QS研究小組已開始積極與全球各大學合作建立線上資料庫，以檢核資料的正確性。另外，也請各校能提供相關企業雇主受訪名單，以增加受訪者背景的多元性及問卷的回收率。
因此，QS小組認為目前最重要的工作，就是爭取各國大學的支持，鼓勵其公開更多透明資訊。
規劃多項以學生為導向的大學排名系統
Ben Sowter並透露一項重要訊息：QS研究小組正積極規劃博士課程、領域學科、學生意見調查及個人化大學排名等計畫，希望藉由建置以學生為導向的多元大學排名系統，提升大學參與大學排名的動機。
他強調，未來將加強與國際及區域性高等教育評鑑及排名機構的合作關係，透過更豐富與多元的資料蒐集管道，改善全球大學排名的品質。而各大學也可藉由全球大學排名的平台，了解彼此的優缺點，使得學生能真正獲取其所需要的選校資訊，共同創造兩者雙贏的契機。
本文PDF檔案下載