財團法人高等教育評鑑中心基金會  

 

英國大學研究評鑑的最新改革──研究卓越架構(REF)的規劃與實施
文/楊瑩
  淡江大學教育政策與領導研究所教授

英國高等教育的品質保證制度獨具一格,長久以來係將教學評鑑與研究評鑑分開進行。英國高等教育的教學評鑑是由一常設單位——高等教育品質保證局(The Quality Assurance Agency for Higher Education, QAA)負責,但其研究評鑑是由各地高等教育經費補助委員會(Higher Education Funding Councils, HEFCs)以任務編組的方式組成的研究評鑑委員會負責執行。英國的教學評鑑制度會依地區而有差異,但研究評鑑卻是採全國一致的方式進行。

英國的研究評鑑早期稱為「研究評鑑作業」(Research Assessment Exercise, RAE),最早一次的研究評鑑是從1986年英國大學補助委員會(University Grants Committee, UGC)組成的「研究選擇評鑑」(Research Selectivity Exercise)開始,其後分別曾在1989年、1992年、1996年、2001年及2008年進行RAE研究評鑑(RAE歷年改革請見楊瑩,2008a, 2008b)。囿於篇幅,本文僅將新的研究卓越架構(Research Excellence Framework, REF)與2008年最後一次的RAE進行比較,並以REF新制的改革為基礎,提出可供我國借鏡思考之建議。

從RAE到REF的演變

2001年RAE公布結果後,英國政府曾委託Gareth Roberts爵士組成一委員會,針對大學的研究評鑑進行檢視。Roberts委員會於2003年5月公布其報告書,其中特別建議日後之大學研究評鑑改以六年為一循環,因此英國政府即採納其建議,決定在六年後再進行RAE,此次RAE結果並於2008年公告。

REF引進之最主要原因,是2006年時的英國財務大臣(Chancellor of the Exchequer)Gordon Brown認為RAE所費不貲,且勞民傷財,遂在公布政府當年預算之際,同時宣告將廢除RAE,建議日後之研究評鑑改以研究成果計算公式(metrics)取代同儕檢視(Peer Review)。此項宣示在2007年Brown接替Tony Blair繼任英國首相後,更列為工黨政策確定執行。

但因原公告之2008年RAE,要求英國各大學所陳報的研究成果是以在2001年1月1日至2007年7月31日間出版之論述為主,當時各校為準備此次之研究評鑑,均已積極地準備資料送審中,因此學術界頓時一片譁然,對是否仍要繼續進行2008之RAE,支持與反對兩派看法均有;為此,英國政府組成了一工作小組,檢視既有的研究評鑑作業,並要其嘗試設計一套以「公式計算為基礎的」(metrics-based)、「簡單的」(simple)經費分配制度,看是否可透過此一工作小組,為英國政府找到一個能替代RAE的機制。

但由於RAE的評鑑結果牽涉到高等教育經費補助委員會對各校研究經費的核撥計算標準,當時主持此工作小組的David Eastwood表示,政府應該儘早為2008年RAE研究評鑑後的未來研究評鑑改革方向提供一個公開辯論的機會,尤其他認為一套新研究評鑑機制的建立,勢必需要獲得學術社群廣泛的認可與同意,而且此套機制也應該建立在實施已近二十年的RAE成功基礎上。因此,英國政府決定繼續完成2008年的RAE,同時也進行未來新的REF規劃建構。

2008年RAE最後一次研究評鑑

2008之RAE研究成果之評審係沿襲往昔方式,由學校陳報具研究能力者之研究成果,然後交由同儕專家學科評估小組評鑑為主。每位受評人員可陳報著作係以4件為高限,但各學科評鑑小組委員可再自行決定是否降低其陳報件數之高限。同時,RAE在2008年的評鑑不僅分從70個不同的學門評鑑單位(UoAs)進行評鑑,且亦分為15至20個主要學科小組(main panels)及約70個分支小組(sub-panels)來進行。

2008年RAE之研究評鑑結果與2001年前以1至5等級加5*之呈現方式不同,2008年RAE是改以下述4*、3*、2*、1*四星等級與「無法列等級」(unclassfied)來區分。換言之,2008年之RAE是改以品質全貌(quality profiles)的方式進行評等;大致上,以往RAE評為卓越之5*及5這兩個達到「國際」(international)卓越水準等級者,改為新制的前三個等級,並將以往達到「國家」(national)卓越水準此水平者概歸為一級,然後將未達到足以評列等級者歸為「無法列等級」(unclassfied)。

品質整體全貌由三個支屬面向(indicator)的積分,依其權重累加而成,分別為研究成果70%、研究環境20%、研究榮譽10%。每一面向都有最低百分比的規定,分別為研究成果50%、研究環境與研究榮譽各5%。研究榮譽面向包括:論文獲獎情形、曾任期刊編輯委員經歷、受邀進行專題講演情形、提供諮商服務或擔任重要考試委員經歷等。

研究卓越架構(REF)的修改歷程

研究卓越架構制度之設計與規劃是由英格蘭高等教育經費補助委員會(Higher Education Funding Council for England, HEFCE)主導進行,這些年來共發出三次諮商文件(consultation papers):

● 2007年11月發布第一份諮商文件

HEFCE發布的第一份諮商文件名稱為〈研究卓越架構:2008年後高等教育研究評鑑與經費補助〉(Research Excellence Framework: Consultation on the assessment and funding of higher education research post-2008),要求各界在2008年2月14日前將意見反應送回HEFCE。結果HEFCE在2008年4月24日公布民眾對第一份諮商文件的回應意見;並於2008年11月24日發布名為〈更新之研究卓越架構〉(Update on the Research Excellence Framework)之通告文件(HEFCE, 2007, 2008a, 2008b, 2008c)。

● 2009年9月發布第二份諮商文件

HEFCE發布的第二份諮商文件名稱為〈研究卓越架構:對研究評估及經費補助〉(Consultation on the Research Excellence Framework: Second consultation on the assessment and the funding of research),要求各界在2009年12月16日之前將意見反應送回HEFCE。結果HEFCE在2010年3月公布民眾對第二份諮商文件的回應意見,並在2011年3月發布有關〈評鑑研究影響決定〉(Decision on assessing research impact)的文件(HEFCE, 2009a, 2009b, 2010)。


● 2009年12月發布第三份諮商文件

HEFCE在2009年12月,針對英格蘭及北愛爾蘭品質保證所發布的諮商文件名為〈英格蘭及北愛爾蘭品質保證的未來安排〉(Futurearrangements for quality assurance in England andNorthern Ireland),並在2010年7月公布民眾對該諮商文件的回應意見。

研究卓越架構規劃的重點內容

若與2008年RAE分從70個評鑑單位、15-20個主要學科小組及約70個分支小組相較,2014年的REF改為36個評鑑單位、4個主要學科小組,36個分支小組來進行評鑑,很明顯地在學科領域的分組上,REF已作了大幅度的精簡。大體上,參考上述各界對不同諮商文件的反應,HEFCE所提出的REF制度規劃重點包括:

1.釐清REF的重點不是要評鑑英國高等教育圈內所有的研究活動,反而其重點在於界定卓越研究的意涵,要確認什麼是「卓越的研究」。同時其所規劃的REF主要內容(key features)是聚焦於下述三要素(elements)之評鑑:(1)成果的品質(output quality);(2)研究影響(research impact);及(3)研究環境(research environment)。

2.雖在規劃REF方案初期,HEFCE曾考慮過要將各校的所有專任教學成員(含教師及研究人員)均列入研究成果評鑑之對象,但因有許多意見回饋反應,此次研究卓越架構之初旨在於要能評鑑「研究卓越」的表現,故希望大學校院能有挑選其受評人選之權利,HEFCE遂決定,2014年REF將保留各校挑選其受評教師或研究人員之權利,受評校院仍可挑選該校認為具有卓越研究成果之所有教師送評。

3.REF研究評鑑的結果將是專家依據合適指標審核或檢視後的產物。換言之,REF研究評鑑將是在四個主要學科小組總評審指導下,由約36個評鑑單位組成的各學科專家評審委員,在其所專精的學科領域,依據共同的評鑑標準與程序進行評鑑。

4.對送請評鑑的每件論文,都要針對其研究成果品質、研究影響與研究環境等三要素來進行評鑑,其中,研究成果的品質是最重要的關鍵要素。

5.雖然各高等教育機構對接受評鑑的對象仍有選擇的權利,但原則上各校的所有專任教學成員(含教師、研究人員,甚至研究助理)均有權列入研究成果評鑑之對象。換言之,各校均可從其所有專任教師或研究人員中挑選具有研究能量成員(research-active staff)的研究成果來送審。受評單位送審人員所占其成員之比例也是評審結果決定時的重要因素;而且每一人所能送審的研究成果以4件為高限。

6.評鑑研究成果品質的規準是:嚴謹性、原創性及重要性。

7.送評研究成果之性質,並不限定必須均為已發表或出版者;有些所謂「灰色地帶的文獻」(grey literature),例如:研討會發表之研究論文,或以實務為基礎的產品(practice-based outputs),含教師受政府機關或其他單位委託所撰寫之研究報告或設計文案、文藝表演或軟體設計,或學者對政府提供諮詢建言等,即使因屬機密而無法公開刊印,亦均放寬可提交評審。同時REF亦鼓勵跨學科之合作研究。不過,每件研究成果都必須滿足潛在讀者之需求,說明研究過程及所洞察的內涵

8.REF對研究成果品質之評鑑,將不考慮將期刊或教師個人表現區分等第或排名,所有具審查制度之期刊原則上均納入評鑑,而且教師的所有著作(含研討會發表之論文)亦均考慮納入評鑑。不過因WOS(Web of Science)等資料庫收錄的期刊對某些學科而言仍較不周全,因此未來仍將針對相關問題作進一步的研究與分析,以謀求補救之道。另外,為避免造成教師透過自行引用其研究者之論述,來增加被引用之次數,REF亦宣告,在衡量其影響時,論著引用次數的計算將會把作者自我引用的次數及資料排除不計

對送評產品「影響」要素之評鑑,將透過試辦計畫再作定案,各學科專家評審小組可自己決定該學科之研究評鑑是否要採計論文被引用之次數;但各小組必須建立一套共同的評鑑架構;且研究影響之評鑑不只是檢視各論述或著作被引用之次數,還包括該產品對社會、政治、經濟、文化、公共政策及服務、醫療保健、環境、國際發展與生活品質的影響。但REF並不要求每一位送評者均需標示其研究產品在社會等方面之影響程度,而是針對送評單位檢送標示有卓越影響之產品進行評鑑;而且前述影響不僅是關注該產品在目前的影響,也包括其在過去所產生的影響,但不包括對未來影響之評估。

9.為對送評產品之影響進行評鑑,送評者均需繳交一份影響項目全貌(impact sub-profile),而此影響項目全貌應是由專家小組成員依據其所呈現之量化與質化證據為基礎的專業判斷。而且對研究影響之評鑑,不限於對其所屬學科領域影響的評鑑,該研究成果對其他學科領域的影響亦納入評鑑之範圍。

10.對研究環境的評鑑,REF針對「資源」(resourcing)、「管理」(management)及「參與」(engagement)等三方面來判斷,並利用英國高等教育統計局(Higher Education Statistics Agency, HESA)所蒐集的相關資料(尤其是研究生人數及研究收入)為基礎,而且並非以申請受評之單一案件為評鑑基礎,而是評鑑該機構整體可用的研究資源與研究環境。

11.在各評審項目評鑑之權重方面,HEFCE原規劃REF各評鑑項目之權重為:(1)研究成果占60%;(2)研究影響占25%;(3)研究環境占15%。

但REF在2011年3月發布有關〈評鑑研究影響決定〉(Decision on assessing research impact)的文件中宣告:2014年REF研究評鑑結果評等時,此三要素之權重為:成果品質(output quality)占65%,研究影響(research impact)占20%,研究環境(research environment)占15%外,並特別說明:由於對研究影響之評鑑是根據以往試辦方案的案例來決定,當時的試辦方案對研究影響的評分權重是25%;但因其所根據的基礎是專家針對送評單位本身對其所送個案對社會、經濟、文化面的影響的自我陳述來作判斷,而非僅考慮其在學術方面的影響,且此試辦結果尚在發展階段,故初步決定在2014年REF全面實施時,將先減為20%;未來若大家反應需要加強,會再依各方意見進行調整(REF, 2013)。

12.因為REF為強調「卓越」研究成果的評鑑,所以送評單位所送審之研究成果哪些是屬於「卓越」,就交由送評單位以個案方式自我陳述說明。

13.對研究影響之評鑑並非是指送評單位所有成員的送評研究成果均為其案例,而是指送評單位應在其所認定的卓越,就成果中自我說明其中哪些是對社會、經濟、文化面有卓越影響的個案研究成果。專家作判斷時也是針對送評單位所送之那些個案來進行評審。而且其研究影響是以發生在2008年1月1日至2013年7月31日期間者為範圍(REF, 2011)。

14.REF雖對受評教師之送評著作件數設有高限,但下述人員送評著作之件數可不必達到高限,即可減少送評著作之件數,包括:(1)新進之教師或研究人員;(2)兼任之教師;(3)曾借調或至產業界工作之教師,或因生產或罹病而請假之教師等;(4)從商業界延攬進入受評校院服務之教師等。

15.為減少受評學校之送評業務工作量,及減輕評審委員之審查負擔,受評者論述被引用情形量化資料之調查與統計資訊遂有其不可或缺的重要性。此種對評審委員提供引用資訊之作法,HEFCE認為至少在醫療、衛生、生物及物理科學、心理學、工程及電腦資訊科學等學科領域,勢在必行。至於其他學科是否採用論述文獻引用次數或引用之相關資訊,則將由評審小組專家與各該學科領域團體協商後決定。尤其在人文、藝術及許多社會科學相關學科,由於現有資料庫對論述引用之資訊並不十分完整,有其限制,故HEFCE表示,這些人文與社會學科應不會僅採用既有資料庫中之文獻引用資訊來判斷其著作之影響力

基此,受評單位應設法先自行提供足以判斷其研究成果影響的佐證資料,除被引用之資訊外,亦應含研究經費的來源及金額,與其他單位或研究人員合作之情形,及其他有助於評鑑其研究影響之相關資訊等。同時,在為評審委員提供資料庫所搜尋的論述引用之資訊時,將同時提供明確的國際標竿指標相關資料及充分的資料詮釋說明。但評審委員如何使用這些論述引用之資訊,則由評審委員自行判斷

決定。

16.在受評教師之選擇上,各校送出受評之教師可分為兩類:一類是在評鑑期間即依合約受聘在該校任教之專任教師(不論其是以受聘教學為主,或研究為主,或教學與研究兩者兼具,三種情況均可),另一類是受評者本職雖非受評校院之專任教師,而係其他機構之專職人員,但其執行之研究計畫或活動是由受評校院主導者。此二類人員之研究成果均可送交評審。

17.2014年REF各校送審資料必須於2013年11月29日前繳交,其評鑑結果將依圖一所標示之各項目權重評審,並於2014年12月18日公布評鑑結果。同時HEFCE在參酌2008年RAE的評鑑經驗後,決定新的REF評鑑之結果(含品質整體全貌及研究成果、環境與影響之評審),亦擬以類似2008年RAE的方式來呈現研究評鑑之結果(如表一)。

圖一 2014年REF研究評鑑對品質整體全貌之配分比例

表一 英國REF之研究評鑑評比等級標準

他山之石 可以攻錯

綜言之,從2006年英國政府宣告將以REF取代RAE至今,由HEFCE及REF各次諮商文件公告規劃進度期程不斷調整可知,REF之推動期程與進度已因涉及其各項作業諮商文件之公告與回應後意見之彙整與方案之修訂,而有多次的延誤。目前各校均已於規定繳交截止日(2013年11月29日)前繳交送審資料,REF也已大致完成同儕評鑑,各方都在等待其於2014年12月18日公布評鑑結果。茲將英國REF的新制規劃可供我國參考借鏡之處,簡扼摘列於下:

● 英國REF新制之規劃是在HEFCE研擬初稿後,經過多次及為期相當長久的公開諮商與試辦,才修改調整定案。同時,因負責規劃之HEFCE並非政府直屬部門,其規劃之方案在公開徵求意見時,英國政府官員也都會針對相關議題提出其看法,供其研訂修改時參考,此種由中介單位負責規劃的作法,也使得其規劃方案能獲得各方多元的回應。

● REF研究成果之送審,並不限定必須均為已發表或出版者,即使研討會發表之研究論文,或以實務為基礎的產品(practice-based outputs)或研究報告或文案設計、文藝表演或軟體設計,或學者對政府提供諮詢建言等,亦均放寬可提交評審。

● 即使是發表在國際知名期刊(如NatureScience)或所謂SCI、SSCI期刊的文章,其品質均仍應接受評審。且論著引用次數的計算會將作者自己的引用次數及資料排除不計,以免作者大量引用自己曾經發表過的論述來增加被引用次數。

● 對送評產品「影響」之評鑑,不只是檢視各論述或著作被引用之次數,還包括該產品對社會、政治、經濟、文化、公共政策及服務、醫療保健、環境、國際發展與生活品質的影響(REF, 2011)。

最後,英國各大學為爭取HEFCs的研究經費補助,近年來莫不卯足全力忙著迎接2014年的REF研究評鑑。HEFCs並將於2015年依REF評鑑結果決定對各大學之經費補助。但由於對HEFCs將如何根據REF評鑑結果分配大學經費,及其研究經費核撥的計算公式仍迄未定案,且REF一路走來,其目前執行方式、採用指標及規劃過程與原先Gordon Brown在2006年公告的原則有相當大的出入,因此,REF未來之發展及公布研究評鑑結果之後,其與英國大學經費分配之關聯將是有待進一步深入探討的課題。

◎參考文獻

楊瑩(2008a)。英國高等教育品質保證制度。載於楊瑩(主編)。歐盟高等教育品質保證制度(頁147-221)。臺北市:財團法人高等教育評鑑中心基金會。

楊瑩(2008b)。英國2008年以後研究成果評鑑方式改革評鑑雙月刊,12,13-18。

楊瑩(2014年10月)。英國大學研究評鑑的最新改革——研究卓越架構的規劃與實施。「2014年高等教育評鑑國際研討會」發表之論文,國立政治大學公企中心。

HEFCE. (2007). Research excellence framework: Consultation on the assessment and funding of higher education research post-2008. (ref: 2007/34). Retrieved from http://www.hefce.ac.uk/pubs/hefce/2007/07_34/07_34.pdf

HEFCE. (2008a). Analysis of responses to HEFCE 2007/34, the research excellence framework consultation. Retrieved from http://www.hefce.ac.uk/media/hefce/content/pubs/2008/132008/ref.doc

HEFCE. (2008b). Research excellence framework: outcomes of consultation and next steps. (ref: Circular letter 13/2008). Retrieved from http://www.hefce.ac.uk/pubs/year/2008/cl132008/name,62692,en.html

HEFCE. (2008c). Update on the research excellence framework. (ref: Circular letter 34/2008). Retrieved from http://www.hefce.ac.uk/pubs/year/2008/cl342008/name,62712,en.html

HEFCE(2009a). Consultation on the research excellence framework. (ref: Circular letter 21/2009). Retrieved from http://www.hefce.ac.uk/pubs/year/2009/cl212009/name,62734,en.html

HEFCE. (2009b). Research excellence framework: Second consultation on the assessment and the funding of research. (ref:2009/38). Retrieved from http://www.hefce.ac.uk/media/hefce1/pubs/hefce/2009/0938/09_38.pdf

HEFCE. (2010). Research excellence framework consultation outcomes. (ref: Circular letter 04/2010). Retrieved from http://www.hefce.ac.uk/pubs/year/2010/cl042010

REF. (2011). Decision on assessing research impact. (ref: 01.2011). Retrieved from http://www.ref.ac.uk/media/ref/content/pub/decisionsonassessingresearchimpact/01_11.pdf

REF. (2013). Assessment criteria and level definition. Retrieved from http://www.ref.ac.uk/panels/assessmentcriteriaandleveldefinitions/

 列印 |  轉寄好友 |  Top |  回首頁

本期目錄
-本期目錄