財團法人高等教育評鑑中心基金會  

 

英國2008年以後 研究成果評量方式改革
文/楊瑩
  淡江大學高等教育研究所教授兼所長
  高等教育評鑑中心兼任研究員

英國高等教育的評鑑長久以來均以將教學與研究兩方面分開評鑑稱著於世,其教學評鑑是由品質保證局(Quality Assurance Agency, QAA)負責;其研究評鑑,則主要是由研究評鑑作業小組(Research Assessment Exercise, RAE)負責,最早一次的研究評鑑是從1986年英國大學補助委員會(University Grants Committee, UGC)組成的Research Selectivity Exercise開始。

其後RAE分別在1989年、1992年、1996年、2001年公布過研究評鑑結果,預定今(2008)年12月公布之研究評鑑結果,將以其於2007年10月31日至2007年11月30日間進行之研究評鑑為主,各機構所陳報的研究成果以在2001年1月1日至2007年7月31日間出版者為範圍。其評鑑方法將仍以由學校陳報(每人最多4件)研究成果然後交由同儕專家學科評估小組評鑑為主。

根據英國政府所公布之政策,2008年這次的第六次研究評鑑,將是其最後一次以同儕檢視(peer review)方式進行的研究評鑑。未來對高等教育機構研究成果的評量,將不再進行同儕實地檢視,而將改以新的研究成果計算公式(metrics)取代。

由於有關英國RAE研究評鑑制度的變革,在2006年9月的《評鑑》雙月刊第3期中已有摘要說明,故於此不再贅述,此次將僅說明英國政府在宣布廢止RAE研究評鑑後迄今,所提出的新構想規劃及其所面臨的爭議問題。

Gordon Brown擔任首相後
在教育行政體制上之重要改革

自英國當今首相Gordon Brown在2006年3月22日以其當時身為英國財務大臣(Chancellor of the Exchequer)身分所作的2006年預算演說中表示,「英國政府對RAE2007年將進行之研究評鑑(同儕檢視)所需的經費補助將是最後一次,且希望高等教育撥款委員會日後分配大學研究經費時,應將現行的研究經費分配制度大幅度地簡化」後,英國政府為減少學術界對新制改革的抗拒與阻力,採取了兩項策略:

首先,第一項是:英國政府一再向學術界表示,政府對高等教育研究經費之補助仍會維持雙軌支持系統(dual support system):一軌是由各學科領域之八個研究委員會為該領域學科提供專題研究經費之補助,另一軌則是仍由高等教育撥款委員會依據學校研究成果提供研究經費補助。其次,第二項是為因應日後取消RAE同儕檢視之變革,英國政府開始積極研擬可用以作為未來政府對高等教育機構核撥研究經費之計算公式。

前述Gordon Brown主張自2008年後取消RAE同儕檢視的政策,在其於2007年6月接替Tony Blair繼任英國首相之後,更加確定執行。

2007年RAE研究評鑑面臨之重要問題與爭議

至於英國政府計畫在2008年後進行的研究成果評量方式,則與其執行既有的RAE研究評鑑時所呈現的問題有密切關連,茲將2007年RAE研究評鑑出現的主要問題與爭議歸納說明如下:

研究評鑑的對象挑選問題

由於RAE研究評鑑的對象,並未硬性規定須包括所有受評單位之專任學術人員,而是由受評學校就其所認定之有參與研究活力(research active)之成員研究成果加以彙整陳報受評,因此,為避免所陳報具研究能力人員之著作品質評審後產生結果不佳之缺憾,許多學校遂刻意降低其陳報著作受評之教師人數。

換言之,此次研究評鑑有些學校陳報之不具研究活力的教師所占比率明顯的增加。例如,根據泰晤士報高等教育增刊(The Times Higher Education Supplement)2007年11月2日及12月7日之報導,Derby University 此次2007年向RAE所報之該校不具研究活力的教師比率,已由2001年的69%,提升至91%;類似地,Oxford Brookes University 由59%增至67%;Birmingham City University由80%增至89%;Kingston 由71%增至74%;Canterbury Christ Church由66%增至84%。

此種閃避受評之情形即使在以研究導向為主的舊大學也同樣存在,例如Warwick University在2001年時,全校送審受評之具研究活力教師比率為91%,但2007年該校有些科系只打算陳報75%的教師著作受評;Keele University所報之該校具研究活力的教師比率,已由2001年的80%降至50%。

不過,並非所有學校都降低送審受評教師之比率,有些學校陳報具研究活力之受評教師比率有增加之情形,而根據英國以研究型菁英大學聯盟為主的The Russell Group主席Malcolm Grant校長之估計,該Russell Group之大學成員,其2007年RAE送審具研究活力教師之比率,估計各校將在75%-90%之間。

而且根據泰晤士報高等教育增刊2008年1月31日報導的最新統計,2007年各校送交RAE送審的教師總人數共有52,472人,此數字比2001年時送RAE審查的教師數46,678人增加,增幅為12%。不過因為RAE2007年進行研究評鑑時,並未像2001年般去統計各校應有的具研究活力教師總人數,故此次並無法作實際送審教師所占應送審教師比率之比較。

只不過,為解決此問題,泰晤士報高等教育增刊將此次送審教師人數與英國高等教育統計局(HESA)所公布的教師人數進行計算後發現,2007年各校實際送RAE審查著作的教師約占全部具研究活力教師數的46%,此與2001年的60%相比,頓時反映出:雖然2007年與2001年相比,送審的教師絕對人數增加,但所占應送審教師之比率反而卻下降。

更值得一提的是,根據報導,有些教師被學校排除在RAE受評名單之外,並非其個人未有著作或出版成果,而可能是學校風聞RAE對研究卓越的評審標準將更為嚴格,故為了確保該校在RAE研究評鑑時能有較佳的成果而採取的策略性作法。此種由學校自行挑選有利的教師陳報其研究成果之作法,曾引發評鑑結果不盡公平及標準化之爭議。

RAE研究評鑑評審的
著作數量限制問題

由於RAE研究評鑑之進行,每位教師送審的研究成果或出版品最多以4件為限,因此,因學科領域之屬性不同,爭議不斷。

RAE研究評鑑評審時引發的
教師聘任及轉任權益問題

根據泰晤士報高等教育增刊2007年7月6日之報導,由於2007年RAE研究評鑑是在2007年10月31日至2007年11月30日間進行,各高等教育機構所陳報的研究成果是以其教師在2001年1月1日至2007年7月31日間出版者為範圍,因此,許多學校為避免校際間教師之挖角跳槽,有許多學校在聘任合約上加了要離職時需於聘期屆滿前較長一段時間提前告知之規定,尤其是對研究成果卓著之教師,更會以合約聘期限制其轉至他校任職,因此引發教師諸多不滿。

2008年以後英國研究成果之評量策略規劃

基於此,英國政府在2007年11月發布一份名為《研究卓越架構:2008年後高等教育研究評量與經費補助》之諮商文件(Research Excellence Framework: Consultation on the assessment and funding of higher education research post-2008),要求各界在2008年2月14日之前將意見反應送回英格蘭高等教育撥款委員會(Higher Education Funding Council for England, HEFCE),供日後作為HEFCE評量研究成果方式修改之參考。根據此草案,英格蘭政府宣告此評量架構一旦定案,將在2010-2014年之間逐步推動其所研擬之研究評量方式。此項草案內容主要包括(HEFCE, 2007):

一、學科分類(subject divisions):未來對研究成果進行評量時,將不會再像以往RAE般分從70個不同的學門評估單位(UoA)進行評鑑,反而只會將各學科領域作較寬廣之分類,即分為:「以科學為基礎之學科」(science-based disciplines),包含科學、技術、工程及醫學等,但數學及統計學不屬此類學科;及其他學科(other disciplines)等兩大類。若教師著述屬於第一類「以科學為基礎之學科」時,進行研究成果評量及經費分配時,將再區分為六或七個寬廣的學群(subject groups)。

二、對「以科學為基礎之學科」研究成果之評量及經費之分配,日後將採量化數據的指標來進行。HEFCE將研擬發展一套利用圖書文獻目錄資料為依據的品質檔案指標(quality profile using bibliometric data)。

三、對科學以外其他學科研究成果之評量,日後將會發展出一套新的以同儕檢視「輕輕碰觸」過程為主的計算公式(a new light touch peer review process informed by metrics),此計算公式將適用於藝術、人文、社會科學、數學及統計學等學科領域,預定將在2013年開始運作,對此,目前尚無具體方案,歡迎各界之建言。

四、在利用量化指標來進行研究成果品質評量時,將會同時將研究收入及研究生人數併入考慮,對是否尚須加列其他指標同時考慮,歡迎各界之建言。

五、專家小組之角色(role of expert panels):RAE進行研究評鑑時,專家小組之聘請與參與是英國研究評鑑機制享譽國際的一大特色,未來在不同學群評鑑指標之選擇,及在對非科學學科進行輕觸式同儕檢視時,仍會借重專家小組之協助與徵詢其意見。

六、後續步驟:此項諮商文件已指出未來進行研究成果評量時的工作方案輪廓雛型,及有關未來研究卓越架構建構之時程規劃,更成熟的計畫尚待各界多方的意見回饋。

七、部門影響(sector impact):發展此套架構的主要目的,旨在減輕目前RAE所導致的高等教育機構及研究者的負擔,也期望藉此架構達成機會的均等,歡迎各界對此份諮商文件的所有規劃方案,在2008年2月14日前提出建言。

八、此份文件適用範圍以英格蘭地區為限;威爾斯、蘇格蘭及北愛爾蘭地區,都可依各自需求規劃相關架構,徵求各界建言。

七項新的評量措施

總而言之,在此份諮商文件中,英格蘭政府明白指出,因為2008年底將公布的RAE研究評鑑結果將會被HEFCE用以作為在2014年前研究經費分配之依據,因此,2008年之後此新的架構將會取代RAE作為日後進行研究成果品質評量之依據。英國政府將採取的重要具體研究成果評量措施包括:

一、雖然各高等教育機構對接受評量的對象仍有選擇的權力,但原則上各校的所有專任教學成員(Faculties, 含教師及研究人員)均是有權列入進行研究成果評量之對象。換言之,以所有教師均受評為原則。

二、由於其未來所採之評量計算公式將以計量方法為主,其所採指標是以檢視各論述或著作被引用之次數(indicators based on citation data),只不過要以多少年(例如5年或10年)被引用的論述,則尚未定案。

三、有關論述引用情形之資料,其初步構想是採用目前已有的Thomson Scientific Web of Science(WOS)的資料庫數據,並考慮其Impact Factor。不過HEFCE坦言,由於WOS收錄的期刊對某些學科而言仍較不周全,因此未來將針對相關問題作進一步的研究與分析,以謀求補救之道。不過,可以確定的是此項研究成果品質之評量將不會將期刊分等第或排名,所有具審查制度之期刊原則上均納入評量,而且教師的所有著作均會被納入評量。

四、為避免造成教師透過自行引用其個人之論述,來增加被引用之次數,此構想草案中已宣告,未來論著引用次數的計算,將會把作者自己的引用次數及資料排除不計。

五、根據泰晤士報高等教育增刊2007年11月23日之報導,未來HEFCE進行研究成果品質之評量時,將要求被其同儕引用次數超過該學科平均引用次數至少三倍以上者,才合乎新標準所謂的研究成果「達到國際卓越水準」(at least three times more than the average rate if they are to meet the new standard for “international excellence” in research)之列。

六、根據泰晤士報高等教育增刊2007年10月12日之報導,由於英國高等教育研究評鑑將取消同儕檢視,改以量化的計算公式為評量之依據,英國現有的各研究委員會(research councils)反而將在核定各研究計畫之前,將採取同儕審查後的結果作為研究經費是否核撥之依據。

七、根據泰晤士報高等教育增刊2008年1月24日之報導,因應HEFCE公開徵求各界對計算公式意見之舉措,英國創新、大學與技能部(DIUS)部長John Denham建議:HEFCE在考慮以量化計算公式進行研究成果品質評量及分配大學研究經費時,除將原擬的著作論述被引用情形、研究計畫收入及研究生人數併入考慮外,亦應同時將學者對政府提供諮詢建言(包括替政府各單位進行研究、擔任諮詢委員,及提供口頭建議等)的貢獻列入考慮。

結語

綜上所述,英國的高等教育研究評鑑,近年來已面臨鉅大挑戰與轉變,HEFCE已研擬提出未來新的研究卓越架構草案,刻正進行向各方徵詢意見之過程中。因此可以確定的是,2008年RAE研究評鑑結果公布後,英國高等教育的研究評鑑將邁入一新紀元。目前已經可見的是若干以研究型為主的大學已將教師論著發表及被引用之情形列入聘任評審之考慮,而且可以預見的,在此諮商文件各方意見彙集完成後,英國未來將採取的研究成果品質評量,將會逐漸有明朗化的計算公式出現,是以,英國研究評鑑的具體變革仍有待日後的持續密切觀察。

參考文獻:

楊瑩(2006):〈英國高等教育研究評鑑改革新趨勢〉,刊於評鑑雙月刊(2006年9月),第3期。頁47-50。

HEFCE(2007):Research Excellence Framework: Consultation on the assessment and funding of higher education research post-2008, 2007年11月30日擷取自 http://www.hefce.ac.uk/pubs/hefce/2007/07_34/07_34.pdf.

 列印 |  |  Top |  回首頁

本期目錄
-本期目錄
單元相關文章