財團法人高等教育評鑑中心基金會  

 

大學排名問題的解藥-柏林原則
文/侯永琪
  高等教育評鑑中心副研究員
  輔仁大學全人教育中心副教授

20世紀末,各國大學數目激增,引領全球高等教育邁入大眾化時代。在社會大眾想了解哪些大學是最好的,及政府機構也想讓教育經費補助分配有所依據的兩大因素之下,提供許多高等教育量化訊息的大學排名或排行榜,逐漸獲得社會認同的合法性,並找到其存在的正當理由。

然而,大學排名所產生的問題,卻隨著它所受到關注的提升,與日俱增。對於21世紀激烈競爭的全球高等教育學術體系來說,已承認大學排名存在的必要性,但如何確保其能提供正確且合理評量資訊,並評比正確的事務,卻是大學本身最關心,但卻也最憂慮的。

大學排名的相關問題

自1983年「美國新聞與世界報導」發表全美第一次全國性的大學排名至今,引發各界的批評就如排山倒海而來。雖然愈來愈多更精進的科學研究方法被發展出來,但有些無法解決的問題仍然存在,而這些問題也因排名的國際化發展而有持續擴大的現象。

Philip Altbach就相當關心近年來大學排名的發展,他指出:「大學排名所產生的問題已不是理念原則性的,而是該如何運作它」。他在「排名的困境」(Dilemmas of Ranking)一文中指出,目前所有的大學評比最大的困境,其實是如何確實地評量出大學的品質。如許多大學排名所採用的聲譽調查,藉由受訪者的主觀意見了解大學學術表現,就有如「人氣競賽」(popularity contests)一般,令人質疑其信度。

其次,不同大學有其特有的教育任務與使命,採用同一套評量「頂尖大學」模式去排名所有大學是否合理。但最令人擔心的是,教學品質的評比常常在大學排名中被忽略,而此一問題在跨國性大學評比中愈顯嚴重。Simons Marginson & Marijk vander Wende就指出,由於大學國際評比研究方法的限制,不僅扭曲高等教育機構發展,也使排名成為一種簡單的「結果論」。

更為嚴重的是,由於評量內容的指標過於窄化,難以顧及大學不同的教育目標,而使得「全球大學評比反而會降低大學在策略、課程、教育與研究創新的能力」。

大陸上海交通大學「世界大學學術排名」計畫主持人劉念才也承認許多學者所提出的批判意見,如「質—量」及「教學—研究」指標的不均衡性、研究產出在自然科學與社會科學領域間的差異性、英語系國家大學的排名優勢等,都是目前現階段國際評比無法解決的問題。

綜合上述,Van Rann歸納出以下幾項大學排名的核心問題:1.大學的主要學術任務為何,教學、研究或兩者皆是?2.在國際化背景中,如何衡量大學的表現?3.以一種相對簡單又可信賴的指標去衡量全世界所有大學的表現是否可能?4.採用量化方式來評量是否可行?5.如果可以,排名名次的差距代表何種統計的意義? 

何謂柏林原則?

早在80年代,一些美國學者就開始進行多項大學評比分析研究,比較之間優劣,以了解學術排名發展的困境,並勾劃出理想大學排名的輪廓。如1986年,David S. Webster已具體地提出理想大學學術品質排名的7項必要條件。

首先,大學排名指標必須是多元,不可只評量單一的面向;二、多元評比指標須將大學教師、學生與校友三方面的成就表現納入,而非只有某一群體;三、評比必須考量大學的規模,也就是須採用學術表現的平均值,而非總值。學校規模大小不同,整體總量的表現差異是相當大的;四、評比不應只排列系所或大學的名次,應比較系所或大學之間的差距;五、除了系所、領域或大學排名,也應評比學生更為關心的專業學科品質表現;六、排名也須考量系所的學術貢獻度與可提供的資源,如發表論文數或發行期刊數等;七、排名必須以評比學生學習成果為最主要的目標,雖然這是相當困難的部分。

至21世紀初,愈來愈多學術、政府與媒體進行大學排名研究,優劣也參差不齊,但排名結果卻影響全球。因此,建立一個全球監督機制來規範各國大學排名團體的品質即成為相當急迫的工作。

2006年,由聯合國教科文組織歐洲高等教育研究中心(UNESCO-CEPES)、美國華盛頓高等教育政策中心(IHEP)、德國高等教育發展研究中心(CHE)與上海交通大學高等教育研究所共同成立的「國際排名專家團體協會」(International Ranking Expert Group,簡稱IREG)在柏林召開的第二次會議,公布了「高等教育機構排名的柏林原則」(the Berlin Principle on Ranking of Higher Education Institutions),共包含四大類16項原則,即是期待不論是全球、區域或是各國排名的發展或公布,皆能以其作為重要的參考架構,以真正增進排名的品質。

美國高等教育政策中心董事長Jamie P. Merisotis就清楚指出,「柏林原則是增進目前這些排名之品質與績效相當重要的一步」。以下為「柏林原則」的內容;

排名目的

1. 為眾多評估高等教育投入、過程與產出品質的方式之一:排名可以提供比較的資訊與增進高等教育的了解,但不能是唯一一種能用來評量高等教育應是什麼與應做什麼的方式。排名可以提供一種市場觀點,來輔助社會大眾了解大學治理、認可單位與獨立評鑑團體的工作。

2. 清楚了解排名目的與對象:排名必須根據其目標而設計。因此,指標的設計必須符合其特別目標,並依據其排名目的,清楚告知某些大學非其排名對象。

3. 認清大學的多元性,並將其不同的使命與目標納入排名的考量:研究取向的大學,在品質評量是不同於開放性入學的社區型大學。因此,須充分諮詢被評量大學與了解評量過程專家學者的意見。

4. 清楚提供排名資料的範圍與獲得資料的方式:排名結果的相關性維繫著讀者能否接收到正確資訊與了解這些資料的來源為何(如資料庫、學生、教授與僱主)的關鍵。最好作法是能將這些不同觀點與來源的資料充分整合,以能夠真正將每一所被排名大學的完整面貌做呈現。

5. 清楚列出被評量高等教育系統的語言、文化、經濟與歷史的結構與內容:國際排名特別需了解會產生的可能偏見,因此須精確清楚其排名的目標。此外,並非所有國家或高等教育體制有共同的價值與對高等教育品質有相同的看法,因此,排名不該被迫用來比較各國之不同高等教育機構。

指標設計與權重

6. 排名方法必須是透明的:排名所採用的研究方法必須是清楚,不模糊的。包含指標成績的計算與資料的來源都必須是透明的。

7. 必須根據關聯性與效度來選擇指標:指標選擇必須以每個指標是否可以測量品質、學術及大學的能力為主要考量,而非只考量是否可以獲取該指標的資料。因此,需要非常清楚為何要採用該指標,且他們到底代表些什麼。

8. 儘量可能選擇以「產出」性而非「投入」性的指標來評量大學整體表現:「投入」性的指標可以反映出一所學校的一般情況,而且也較容易取得;「產出」指標則更能提供一所學校或系所品質表現的評量;但排名者應確認兩者的平衡性。

9. 根據不同指標分配權重,每次不要做太大的變化:權重的改變會使得消費者很難檢視一所學校或系所排名的變動是因為已存在的差異或是方法的改變。

資料的蒐集與處理

10. 重視這些排名原則所列出之研究倫理標準與所建議的好作法:為了確保每項排名的信度,負責資料蒐集與實地訪視的評量者須儘可能客觀、公正。

11. 儘可能使用可驗證的資料:採用可驗證資料有許多的好處,其中包含這些資料應該已被學校所使用,也可以容易地做跨校的比較。

12. 指標必須是以適當步驟所蒐集到的科學性資料:資料蒐集若來自無代表性且有偏見之學生、教師或其他團體,是無法確實地呈現一所學校或系所的表現,因此,此類的資料應該被排除。

13. 將品質保證的方法運用在排名的過程之中:這些專業的作法與過程應該被運用來評量學校,也可被用來評量排名本身。排名仍只是一個發展中的系統,須持續運用專家意見來改善研究方法。

14. 運用組織運作方式來增進排名的信度:這些方式包含成立諮詢機構或監督團體,而這些最好能有國際參與。

排名結果的呈現

15. 提供消費者能清楚的了解排名發展的所有因素,與提供他們一個可以選擇排名如何呈現的機會:此一方式,可以使得排名使用者對於被採用來排名學校或系所的指標,有更清楚的了解。此外,他們自己也必須有機會去決定這些指標應如何被分配權重。

16. 排除或降低原始資料的錯誤,但若有錯誤,其研究的組織架構與公布的方式應能方便資料的更新,且學校與大眾必須被告知資料有誤之處。 

柏林原則解決問題了嗎?

其實不論是80年代Webster的7項要點或是21世紀的柏林原則,皆是憂心排名者、被排名者及使用者三者無法真正將大學排名的價值正常化。然而,柏林原則欲達成的兩項目的「規範所有排名者的行為」與「檢驗排名的品質」是否真的可以達成?或是過於理想,而使得包括目前及未來的大學排名,都很難發展出一套可以符合其標準的排名系統?

一些學者就檢視柏林原則的實用性並提出其看法。Marginson在「全球大學比較:第二階段」(Global university comparison : the second stage)一文中指出,柏林原則有些部分不合理也不務實,如第5項強調各國高等教育體系的特質、不同大學使命宗旨須適當被考量在排名之中,雖然相當重要,但卻不實際;而第7項、11項及12項強調排名資料的效度與相關性,與排名方法的科學性其實都是無庸置疑的,似乎多此一舉。

其次,Marginson也不同意第8項中提出排名應採用教育「產出」指標勝於「投入」指標,特別在大學基礎研究方面,研究經費與人力投入的努力經常遠超過論文與專利數的整體產出,若過於著重產出,恐會扭曲大學對基礎研究的態度。

此外,上海交通大學劉念才所長與程瑩教授在運用柏林原則檢驗8項全球與各國大學排名之後,也歸納出三點評論。首先,大部分的大學排名,不論是屬於全球或是各國,在提醒排名使用者正確地使用排名指標方面,如讓使用者認清排名本質(第1項)、對象(第2項)及限制(第13及14項)等,是最被肯定的。

其次,在資料透明度方面,如指標定義、來源及權重分配等方面,也是大部分排名系統較能達到的。但分析中也發現,最難達成的為,採用多元化的指標與考量高等教育系統之語言、文化、經濟與歷史的結構與內容等因素以作為排名的依據。此一問題不僅在全球排名中愈顯嚴重,也是目前三大全球大學排名者承認現在研究技術難以克服之處。

這也呼應了Merisotis所擔心之處,「柏林原則最棘手的問題不僅是如何將排名系統的語言、研究或公布可以維繫在一個全球的基礎之上進行,完全不同的大學評比系統如何在有一致性的柏林原則之下被評量,也是另一項考驗」。但換句話說,若全球大學排名因考量文化、語言與歷史因素,而以不同教育指標來評比不同的教育系統,似乎又失去國際評比的基礎與意義了。

柏林原則是排名的絆腳石
或增進排名品質的指南?

21世紀高等教育進入了全球化的發展時代,大學彼此競爭的關係也由國內擴展至國際。認知大學排名發展的現況與原因,可使大學掌握瞬息萬變高教體系中大學評比的趨勢與發展方向的重要性,以作為政策制定的參考。現今各種不同大學排名紛紛被公布,但並非所有排名皆有清楚的研究目的、對象及嚴謹方法,這也造成品質的良莠不齊。因此,柏林原則的公布除了引起排名者的關注,也使得高等教育的其他成員對不同大學排名品質有一評量的依據。

以柏林原則來分析目前全球大學排名發展,可以了解到,不同類型大學排名的目標、功能及內容其實差異甚大,若以柏林原則來統一規範,雖可以適度地確認該排名系統的品質,但無法解決目前各項排名系統所面臨如何適度在排名中展現出每所大學獨特性與多元性之問題,這對全球大學排名系統的發展尤其嚴重。

因此,柏林原則是否應針對區域、各國高等教育系統及系統中不同成員,以分類的概念為基礎,修正出更可以符合現狀的排名發展原則,是排名者與被排名者皆需積極思考的。因此,期盼未來修正後的柏林原則,不是一個阻礙或否定大學排名健康發展的絆腳石,而是一個能正確引導使用者與激發排名者更多想法的有效指南。

 列印 |  轉寄好友 |  Top |  回首頁

本期目錄
-本期目錄