財團法人高等教育評鑑中心基金會  

 

揭開泰晤士報排名的黑盒子
文/黃慕萱
  國立臺灣大學圖書資訊學系教授兼文學院副院長
  高等教育評鑑中心兼任研究員
圖/呂威廉

大學排名能衡量一所大學吸引人才和知識產出的能力,亦可做為學生及家長選校的參考,因此深受各界矚目。過去有關大學排名的研究大多為單一國家之學校排名,但在全球化趨勢的影響下,近年來已轉向世界排名的分析,其結果不僅顯示各校之國際聲望,更影響政府高等教育的經費分配及招生政策。許多學校為提升其世界排名,紛紛提出各項獎勵研究措施,希望擠進世界一流大學之位階。

特色中顯爭議的泰晤士報排名

聲望指標權重最高,客觀性為最大挑戰

雖然世界大學排名是一種趨勢,各界卻難以形成一套通行全球又同時能衡量不同國家大學的指標。絕大多數的排名報告乃依其理念,從不同面向進行分析。以在國際上頗富影響力的英國泰晤士報世界大學排名(THE-QS World University Rankings)為例,其自2005年每年在「高等教育增刊」(Times Higher Education Supplement, THES)公布的排名研究,即特別著重在學校聲望、研究、教學及國際化四個面向。在這些項目中,以聲望面向的權重最高,占50%。雖然2009年5月泰晤士報另推出亞洲大學排名,修改指標權重,將學校聲望比重降低而提高研究指標的比重,但與其他排名研究相較,聲望指標仍為泰晤士報世界大學排名的最大特色。

泰晤士報之評比理念雖然值得參考,但運作方式卻容易產生不客觀的結果。學校聲望指標為該排名的特點,卻也是其最受爭議之處,因為我們永遠無法確信學者專家的判斷能否完全客觀。如何保證評估者的代表性和專業,似乎成為泰晤士報最大的挑戰。

調查問卷回收率低,問卷對象缺清楚定義

此外,學校聲望的調查方法也常常受到質疑。在其排名結果中,同儕審查的分數影響排名順序甚鉅,但該部分的問卷回收比例卻普遍偏低。2006年該問卷回收率不到百分之一,2008年問卷數為6,354份,2009年則達到9,386份,約成長48%(至2009年10月9日止,尚未公布發放總數,故無法計算回收率,且其問卷數為三年累積統計,回收率在計算上本來就較為困難)。在問卷發放對象上,該研究一直未有清楚定義。事實上,泰晤士報對填答問卷者的身分並未嚴格控管,只要能取得問卷連結網址,登錄後即可進行填答,即使不是專家也可以參與評比。

國際化指標的效度問題

除此之外,泰晤士報在國際化指標部分也存在效度問題。一般認為泰晤士報採用的國際化指標恐不足以代表一校之國際化程度。舉例而言,亞洲大學排名中在國際聲望與學術研究均有優異表現的東京大學,竟僅居第三位,一、二、四名均為香港的大學,臺灣大學的排名只落在22名。

雖然香港城市大學校長郭位解釋,臺灣各大學名次落後係受臺灣整體國際化程度影響,但無論如何,該結果已顯示不同的評比指標與運作模式確實主導著世界排名研究結果。

泰晤士報排名面向與指標分析

泰晤士報的世界排名研究係同時採用同儕審查與量化指標,兩者各占50%的權重。在不分領域的排名部分,共採用四個面向六項指標,包括同儕審查指標、企業雇主評量指標、每位教師平均論文被引次數指標、生師數比、國際教師數及國際學生數指標,各指標權重如表一所示。在分領域排名的部分,則以學校聲望排名為主,學校聲望的資料來源為同儕審查問卷,主要分為藝術與人文學科學(Arts & Humanities)、生命科學與生物醫學(Life Sciences & Biomedicine)、社會科學(Social Sciences)、科學(Natural Sciences)、科技(Technology)五大領域,各領域之得分即決定分領域之排名,五個領域加總即構成不分領域的同儕審查指標分數。

由表一的指標權重分布可看出,泰晤士報認為學校聲望最能代表大學的辦學成效。但如此一來,使得整體結果容易淪為以大學聲望為主的評比,受訪者可能僅就大學知名度列舉國際知名大學,而忽略大學的實際表現。雖然該研究也以每位教師論文平均被引次數做為衡量大學研究能力的指標,但卻未考量實際論文數量。若僅計算平均被引次數時,論文數量少但被引次數較高的學校便容易獲得高分,無法充分反映該校之學術生產力。

表一 英國泰晤士報「高等教育增刊」2008年之面向、指標與權重表

而教學部分,泰晤士報係以生師比做為衡量的指標,雖可反映出教學環境,但卻難保該資料來源之可靠性,除數據取得不易的問題外,各校計算生師比的方式也不盡相同,甚至易有灌水之嫌,恐無法確實反映各所學校的教學環境品質。至於國際化以國際師生數為衡量指標雖有其意義,但國際化不應僅由單一指標做為評比依據,應考量其他國際化的表現,如學校間的跨國合作、跨國學者的共同研究著作等等。

泰晤士報世界大學排名的爭議

泰晤士報排名採用問卷調查的作法備受爭議,主要是因為其不易客觀呈現各校實際教學研究成果,再者每年數據變動過大,也缺乏資料的內部一致性。此外,在問卷回收、問卷分析、指標分數等也存有若干問題,以下針對幾項爭議進一步討論。

1.問卷回收結果

泰晤士報為英國媒體,一般來說其排名研究對大英國協的成員較具優勢,這點可從問卷回收地區的分布與數量一覷端倪。表二顯示泰晤士報在同儕審查與企業雇主評量兩種問卷的回收情形,其中2008年同儕審查問卷回收數量以美、英、澳為最多,大英國協國家(目前包含英、澳、加、印度、馬、紐、新、南非,香港與愛爾蘭曾為大英國協的一員)的問卷份數即占32%,美國為10%,而亞洲國家(印度、印尼、菲、馬、新、中、港、日、韓、泰、臺)則為22%,亞洲有一半以上的問卷數集中於印度、印尼、菲、馬四個國家。深入瞭解亞洲各國的問卷回收數量,發現臺灣最少僅39份,新加坡卻有135份,香港為100份。

表二 英國泰晤士報2008年世界大學排名問卷回收情形

在企業雇主評量問卷部分,2008年前三名仍為美、英、澳, 大英國協國家占34.5%,美國占15%,亞洲各國則占17%。在亞洲國家中,新加坡回收問卷份數有74份,香港有50份,臺灣只有17份,比前者少了許多。臺灣在同儕審查與企業雇主評量兩種問卷回收數量均低,是否為造成臺灣學校排名落後的原因,值得思考。

此外,問卷填答者的研究領域與產業亦不均衡。同儕審查以Engineering & IT(33%)、Natural Sciences(31.5%)、Social Sciences(29.8%)三個領域為大宗,企業雇主評量則以financial services/banking、consulting/professional services、manufacturing/engineering、IT/computer services四種產業為最多。這些問題皆可能對於同儕審查與雇主評量分數造成影響。(至2009年10月9日泰晤士報評比公布後,仍未提供回收問卷相關分析數據。)

2.問卷內容

泰晤士報自2008年依受訪者所在國家將問卷分為國際與國內兩個部分,國際部分排除受訪者國家,國內部分則排除受訪者學校,希望藉此減低因所屬地區所造成的偏頗,並去除受訪者對於其任職單位的刻意推薦。這樣的設計雖然可以降低問卷填答者主觀意識的影響,但因國際與國內學校數量不同,卻導致許多學校僅能由該國家的受訪者進行評比。

以臺灣為例,2008年臺灣在國際部分的問卷為12所學校,國內部分的問卷卻達30所,有18所學校未出現在其他國家受訪者的問卷中(如表三)。這樣的情況可能限制某些學校進入國際排名的可能性,導致進入泰晤士報最後排名之學校均為在問卷中國際部分出現之學校。如長庚大學的表現足以進入上海交大排名與臺灣高等教育評鑑中心世界大學科研論文質量評比(HEEACT Ranking)的前500大,但卻無法進入泰晤士報排名,顯示學校是否出現於國際部分的問卷確實會影響排名結果。即使2009年的問卷提供填答者可於國際部分填寫任一所學校,如美國學者可在國際部分中提名長庚大學,但此設計的影響仍值得注意。

表三 2008年出現於同儕審查國際與國內問卷的臺灣學校

此外,國際與國內分開評比的問卷設計也對國際知名大學的排名較有利。能取得較多其他國家票源的學校在排名較為有利,故招收較多國際學生的學校可能有較大機會進入排名。

3.排名結果

如前面所提,泰晤士報的排名結果受問卷回收狀況影響很大。英國挾帶地主優勢,問卷數量高居第二,在該排名的表現也相當優異,2008年有8所學校進入前50名,29所學校進入前200名。整個大英國協國家的排名表現亦佳,在前200名中占64所學校(占32%),前50名中更占22所學校(占44%),顯示大英國協國家在泰晤士報的大學排名表現確實較具優勢。就連亞洲國家中一般認為學術表現較弱者,如印度(236份)、印尼(228份)、菲律賓(201份)、馬來西亞(180份)等國,亦因問卷份數較高而進入前500大,顯示問卷回收數量多寡對排名結果確有相當影響。

從排名結果中亦發現泰晤士報對部分學校的排名與一般大眾的印象似有落差。如2008年英國愛丁堡大學(23名)比柏克萊大學(36名)排名佳、北京大學(50名)排名在西雅圖華盛頓大學(59名)之前,北京大學甚至曾在2006年名列全球第14名,顯示泰晤士報雖以聲望為主要衡量的基準,但結果仍與一般認知有差距,可能為問卷填答者的主觀偏見及問卷回收樣本數太少所導致。

4.指標分數

在泰晤士報的問卷結果中常出現指標同分的現象,甚至有滿分的情況,使其評比能力受到懷疑。如在同儕審查指標分數中,2008年同時有21所學校於該指標獲得滿分,其餘五個指標獲得滿分的學校也各有10所以上(企業雇主評量指標12所、教師論文平均被引指標10所、生師數比指標19所、國際教師數指標18所、國際學生數指標16所)。但進一步分析卻發現,同儕審查同為滿分的學校於實際上並非同等級的學校。如哈佛與北京大學同為滿分,但實質上兩校應有相當大的差距。又若將不同指標結果交叉比對來看,可發現加拿大麥基爾大學、澳洲墨爾本大學、中國北京大學三校雖在同儕審查指標皆為滿分,但每位教師論文平均被引次數的指標上有所落差(參見表四)。由此可知,同儕審查可能無法完全反映實際的大學聲望表現。

表四 2008年同儕審查與每位教師論文平均被引次數指標分數滿分之學校

5.數據變動

世界大學排名研究常用的量化指標如生師比、論文篇數與被引次數等,在短時間內通常難以產生劇烈變化。然而泰晤士報所採用資料在2007與2008兩年間卻產生巨大變化,其在QS網站上曾出現學生數與教員數著錄錯誤的狀況(如University of Arkansas、University of Alabama、University of Alberta),亦顯示其統計資料有正確性的疑慮。

舉例來說,日本慶應大學的師生比分數於該兩年間下滑50分、丹麥哥本哈根大學上升49分;University of Alabama在2008年每位教師平均論文的分數從98分大幅下降為40分,導致該校名次後退72名;在每位教師平均論文被引部分,臺大於07年被引次數排名為89名,但08年卻降為145名。若按泰晤士報於連續兩年皆採用相同資料庫SCOPUS的數據,又有四年時間的重複,理論上不應有如此劇烈變化。由此推知泰晤士報的教師平均被引次數,在兩年的數據中有一年可能是錯誤的。

結語:排名僅代表部分意義

雖然泰晤士報在排名指標上仍有不夠周延的地方,但也因為聲望調查的方式,使其成為備受重視的世界大學排名之一。每種排名由於其理念和指標的不同,自然導致不盡相同的排名結果,除可由此觀察大學排名的不同面向外,當然也具一定程度的參考價值。撰寫本文的用意在介紹泰晤士報排名的詳細內容與特色,幫助讀者深入解讀其中的差異,並瞭解其排名代表的意義,不至受排名名次迷惑,盲目追求名次上的前進。

 列印 |  轉寄好友 |  Top |  回首頁

本期目錄
-本期目錄