財團法人高等教育評鑑中心基金會  

 

英國大學教學評鑑新制 2017年「教學卓越架構」結果揭曉
文/楊瑩
  淡江大學教育政策與領導研究所榮譽教授
  高等教育評鑑中心兼任研究員

在2016年7月第62期《評鑑雙月刊》,個人曾說明英國於2017年引進實施之「教學卓越架構」(Teaching Excellence Framework, TEF)新制的研訂規劃過程與該制度重點內容。

扭轉重研究輕教學  TEF關注教學品質

英國TEF新制是英國政府為避免政府對大學教學經費撥款減少後導致大學重研究而輕教學之問題,由當時主管高等教育的「商業、創新與技能部」(Department for Business, Innovation and Skills, BIS)於2015年所公布的改革構想方案,特別強調要透過引進「教學卓越架構」機制的建置,讓大學關注教學品質的提升。

BIS強調,由於英國大學研究經費核撥是以「研究卓越架構」(Research Excellence Framework, REF)的研究評量成果為依據,許多大學非常重視研究,但對教學之關注就較為不足,因此,BIS希望透過建置「教學卓越架構」(TEF),促使大學在注重研究之外,也要兼重教學品質的提升,並讓學生對其所修讀的課程及教學的品質能有充分資訊,增加學生選擇的機會。

大選影響  2017評鑑結果延至6月公告

BIS當時表示,TEF之進行將從2016/17學年開始分年及分階段實施。第一年是以「等級一」(Level 1)之評量為主,凡是已具有「成功的品質評量檢視成果」(successful quality assessment review)的高等教育機構均可視為Level 1通過;第二年開始,英國政府將開放TEF較高等級(higher level)評量之申請(楊瑩,2016),而且英國政府在2016年9月公告(Department for Education [DfE], 2016),有意申請TEF第二年(Year 2)評鑑之高等教育機構,須在2017年1月底前將申請TEF第二年評鑑的資料填妥,送交至「英格蘭高等教育經費補助委員會」(The Higher Education Funding Council in England, HEFCE);由HEFCE及高等教育品質保證局(The Quality Assurance Agency for Higher Education, QAA)共同進行TEF Year 2之評鑑。但HEFCE在2016年10月公告的《TEF第二年額外指南》(Teaching Excellence Framework: Year Two additional guidance)卻將申請截止日提前至2017年1月26日中午。

在開放各校送件申請TEF Year 2評鑑時,教育部(Department for Education, DfE)(DfE, 2016)最初表示,2017年TEF Year 2評鑑結果原預訂將於2017年春公告,有效期三年;但後因英國臨時提前在2017年6月8日舉行大選,大選結束後,政府各項決策必須由新內閣來決定,因此,2017年TEF Year 2的結果遂延後到2017年6月22日才公告。

評鑑機制的規劃與實施

依BIS最初之規劃,TEF之建置是採分階段(a phased approach)的方式逐步建立。TEF Year 2的評鑑是依據一套由專家同儕、學生和雇主等共同審議後訂定的量化公式(metrics)及學校的簡短書面(以15頁為限)報告為基礎,原規劃是將TEF評量結果分成三等級呈現:(1)滿足期望水準(Meets Expectation);(2)卓越(Excellent);(3)傑出(Outstanding)。而且,TEF第一年是以QAA已實施的機構檢視教學評量為依據,只要達到「滿足英國期望標準」,就算通過;第二年開始,採取志願的方式由學校申請,對達到Year 2規定的教學品質門檻之學校,政府將允許其隨物價指數調高學費高限(楊瑩,2016)。

BIS在2016年另提出技術諮商報告書,說明TEF第二年之計量公式,考慮的指標包括「教學品質」、「學習環境」、「學生學習成效及收穫」等三大面向。第二年以後的TEF教學評量,除量化數據外,還會邀聘相關領域學者專家及學生代表組成實地訪評小組(review panels)進行實地同儕檢視(peer review)。各高教機構一旦獲得TEF第二年之評量通過,其評量結果的有效期最多為三年(楊瑩,2016)。

只不過,根據DfE後來在2016年9月公告的TEF Year 2規劃內容,TEF第二年之評鑑雖仍是採取計量(metrics)公式進行為主,且第二年之計量公式考慮的指標也仍包括上述「教學品質」、「學習環境」及「學生學習成效及收穫」等三大面向,效期也維持最多三年,但其政策最大之改變是:評鑑結果並不採取原先規劃之等級呈現,反而改以類似運動競賽獎牌的「金」(Gold)、「銀」(Silver)、「銅」(Bronze)三種等級呈現(DfE,2016)。

另外,DfE(2016)也指出,TEF 的評鑑結果雖原預訂作為政府核定大學是否可依物價通膨指數調整學費之依據,但因TEF Year 2評鑑的結果要到2017年6月才會公告,因此,這次公告的TEF第二年評鑑結果將不與是否允許大學2017學年度調整學費之決策掛勾;但DfE也表示,TEF第三年以後的評鑑則將會作為受評學校日後是否可調整學費之參考依據。

DfE公布的TEF Year 2評鑑指標共有10項,茲分別就三面向說明如下:

1.教學品質(Teaching Quality, TQ):TQ1──學生參與(Student Engagement)、TQ2──教學評價(Valuing Teaching)、TQ3──嚴格執行及彈性(Rigor and Stretch)、TQ4──回饋(Feedback)。

2.學習環境(Learning Environment, LE):LE1──資源(Resources):LE2──獎學金、研究及專業實務學習環境(Scholarship, Research and Professional Practice)、LE3──個人化的學習(Personalised Learning)。

3.學生學習成效及收穫(Student Outcomes and Learning Gain, SO):SO1──就業及繼續進修(Employment and Further Study)、SO2──就業力及可移轉技能(Employability and Transferrable Skills)、SO3──所有學生都能得到的正面結果(Positive Outcomes for All)。

評鑑結果的呈現方式

在評鑑結果的呈現方面,其等級的評定標準為(DfE, 2016; HEFCE, 2016, 2017b, 2017c):

1.金:在教師教學、學生學習及學習成果等方面具有英國最高之品質;通常是在核心計量公式指標(core metrics)評鑑結果獲得三個以上(+或++)的正面評價或旗幟,且無負面之評價。

2.銅:在教師教學、學生學習及學習成果等方面滿足英國基本之品質要求;通常是在核心計量公式指標評鑑結果,獲得二個以上的負面評價或旗幟(不論其獲多少正面評價或旗幟均然)。

3.銀:在教師教學、學生學習及學習成果等方面具有超越英國平均之品質;這是指在核心計量公式指標評鑑結果既非被評為「金」,也非被評為「銅」者,包含一面旗幟均未獲得者在內。

HEFCE在核定各高等教育或擴充教育機構評鑑等級時,也會分別註明其效期。另外,在上述「金、銀、銅」三等級外,HEFCE還對一些受評學校核給「暫時通過」(Provisional awards)之等級。此類「暫時通過」等級之核定,是以申請參加TEF第二年評鑑之所有高等教育提供者(Higher Education Provider)中已初步滿足英國高等教育嚴格要求之全國品質條件,但無法提供充分資料來供審核之學校為對象。

此類「暫時通過」等級,通常有效期為一年。這些機構只要資料準備齊全,未來就可再參加TEF評鑑(HEFCE, 2017b, 2017c)。

2017評鑑結果震驚高教界  跌破眾人眼鏡

TEF第二年之評鑑是開放給英國所有已具學位授予權之大學及所有高等教育及擴充教育提供者,各機構是以志願參加之方式申請受評。HEFCE在2017年6月22日公布其對申請受評之295所高等教育提供者2017年TEF第二年的評鑑結果。這295所高等教育提供者中,有134所是高等教育機構(Higher Education Institutions),106所是擴充教育學院(Further Education Colleges),55所是另類高教提供者(Alternative providers)(HEFCE, 2017b)。獲評「金」、「銀」、「銅」的學校名單請見表一、表二、表三。

表一 英國2017 TEF Year 2評鑑結果為「金」之學校名單

表二 英國2017 TEF Year 2評鑑結果為「銀」之學校名單

表三 英國2017 TEF Year 2評鑑結果為「銅」之學校名單

此次評鑑是由27位評鑑委員(assessors)組成的評鑑小組(panel)負責評審,並作最後判斷。這些委員背景多元,有來自學術界的學者專家,也有學生及企業雇主代表,評審前也須接受訓練。評鑑小組依據既有資料庫的資料(含學生申請入學時之成績、輟學率、弱勢學生入學就讀之比例、畢業生就業率、學生畢業後在高技術專業之就業情形,及學生滿意度調查統計等)得出的計量公式及申請受評學校繳交的報告,作為評審依據。

HEFCE公布之2017 TEF第二年評鑑結果顯示,在295所高等教育提供者中,獲評等為「金」者有59所(20%),獲評為「銀」者有116所(39.3%),獲評為「銅」者有56所(19.0%);另有64所(21.7%)獲評為「暫時通過」。若將獲「暫時通過」之學校刪除不計,以剩下的231所受評學校為母數,則可發現,得「金」者占25.5%,得「銀」者占50.2%,得「銅」者占24.2%。

上述各等級所占比率或分布情形,乍看之下似乎尚稱正常,但此評鑑結果公開披露後,旋即在英國高等教育界引起一片譁然,也可說是投下一枚震撼彈,讓許多人跌破眼鏡。若進一步觀察此次獲評等為「金」牌的59所學校,從表一可發現,居然有14所是屬於擴充教育學院、1所為另類高教提供者。

這些出乎眾人意料進入「金牌」的學校,個個都雀躍歡喜,獲「金」的康文翠大學(Coventry University)校長John Latham認為,此次評鑑結果等於對英國高等教育學術圈敲響警鐘,代表未來大學排名應建立一套新的秩序或遊戲規則,不能僅以研究成果的評量為主,也應將學生的學習成果列入考量(Weale, 2017)。HEFCE同時宣告,對評鑑結果有疑義的學校可於2017年8月底前提出申訴(HEFCE, 2017b)。

此次獲「銅」的南安普頓大學(University of Southampton)校長Christopher Snowden 除對TEF之評鑑表示不信任外,並已公開表示將對該校獲「銅」之結果提出申訴;同樣被打入「銅牌」的倫敦政經學院(The London School of Economics and Political Science, LSE)主管Julia Black教授表示,她對LSE的教學及學生畢業後的傑出表現一直深以為傲,該校將協助政府針對TEF的評鑑制度進行檢討及修正(Weale, 2017)。

羅素大學集團摘金校數低於四成

另外,享譽全球的英國羅素大學集團(Russell Group)成員中有21所大學申請受評,但結果不僅只有8所大學獲「金」,10所大學獲「銀」,還有3所大學獲「銅」。換言之, 雖然牛津(University of Oxford)、劍橋(University of Cambridge)兩校都獲得與一般人預期結果相同的「金」,但對其他若干知名學府,如在與倫敦大學教育學院(Institute of Education, IOE)合併後的倫敦大學大學學院(University College London, UCL),僅獲評為「銀」;而以培育國家菁英人才聲名遠播的倫敦政經學院更僅獲評為「銅」。倫敦大學亞非學院(School of Oriental and African Studies, University of London)雖非羅素大學集團成員,但也與倫敦政經學院同弔車尾,併列「銅」。迄今,羅素大學集團中未獲「金」之學校均表示將提出申訴。

英國泰晤士報高等教育週刊(Times Higher Education, THE)在TEF評鑑結果公布當天, 就曾將此次2017TEF評鑑結果與其所做的2016-17世界大學排名(THE World University Ranking)和英國各校在2014研究評鑑(REF)的成績作一比較;英國羅素大學集團2017年TEF第二年評鑑結果之各類成果比較摘列如表四。

表四 英國羅素大學集團2017年教學卓越架構(TEF)第二年評鑑結果比較表

各界褒貶不一  批評聲浪不斷

由表四可知,英國此次TEF教學評鑑的結果與全球大學排名名次及REF研究評鑑之結果並不一致,此三者之間也找不出任何關聯。英國各界對此次TEF的結果褒貶不一。在褒揚方面,最大的讚賞可說是來自政府對大學教學品質的重視,改善以往僅重視研究表現卻輕忽教學所造成之弊端。

但對TEF的批評也來自多方。首先,最重要的癥結在於其所採用各種資料庫之可依賴度及對事實狀況之正確性反應度;在各類資料庫的使用上,以對全國學生調查(The National Student Survey, NSS)學生滿意度的統計結果適用性或可參考性之爭議最大;有學者指出,從歷年NSS的調查中可發現,在倫敦地區的大學就讀的學生對學校之滿意度向來為全英最低,而且滿意度低的原因不能完全歸罪於學校,倫敦地區的生活環境及倫敦都市的治安紊亂等,也都可能是造成在該地區就讀學生滿意度低落的原因。

其次,英國政府將TEF評鑑結果改以金、銀、銅三級呈現也備受批評,此種比照運動競賽評等的方式,等於宣告以後TEF的評鑑是將各大學當作運動員來參與競賽,促使學校各顯神通奪標;而這明顯與當初引進TEF旨在提高大學教學品質、導引各校重視教學的目標有相當大的出入

尤其,TEF僅用英國現有各種資料庫,針對學生入學成績、弱勢學生招收情形、學生畢業後的就業情形及工作收入、學生對就讀學校之滿意度調查、勞動力市場就業及收入調查資料庫的統計量化資料分析作為評審依據,而未如原規劃所提的進行實地訪評,以致這些量化資料之統計是否能確實反映學校教師教學品質的優劣,可說是對此次TEF評鑑最大的質疑

英格蘭以外無意照單全收或全盤跟進

英國政府公布的TEF新制是以英格蘭為主要改革適用範圍,對威爾斯、蘇格蘭及北愛爾蘭三地區是否要加入,受地方分權制度及各地自主權意識高漲之影響,英格蘭政府並無強制要求全英一體適用之權力。據了解,威爾斯地方政府對TEF新制雖是放手由各大學自己選擇是否加入受評,但威爾斯並不打算仿效英格蘭裁併其高等教育經費補助委員會(Higher Education Funding Council for Wales, HEFCW), 而是決定將其與擴充教育經費補助委員會(Further Education Funding Council for Wales)合併,並遷至同一棟大樓辦公。

在蘇格蘭地區,因其大學學費制度與英格蘭迥異,故TEF評鑑對英格蘭大學造成調整學費許可的影響並不存在於蘇格蘭,因此,蘇格蘭政府不僅不鼓勵其學校參加TEF受評,而且也與威爾斯政府相同,堅持不會隨英格蘭起舞,蘇格蘭政府也同樣不會裁撤蘇格蘭高等教育及擴充教育經費補助委員會(Scottish Funding Council, SFC)。更重要的是在教學評鑑制度方面,長久以來,蘇格蘭政府對蘇格蘭QAA原先進行的「以改進為主」(enhancement-led)的教學評鑑制度相當自豪。因此,要蘇格蘭地區的大學普遍參與英格蘭的TEF評鑑,在學費制度及高教經費補助機制與英格蘭迥異的情況下,目前應該是相當困難的事。

作為調整學費依據?後續效應有待觀察

英國著名的「教學」與「研究」評量雙軌分開運作,及其以評量結果作為高等教育經費分配參考依據的體系,舉世聞名。英國政府在2014年針對研究評鑑,引進「研究卓越架構」,2015年接著針對教學評鑑提出「教學卓越架構」新制,其初衷即在於想一改英國大學為爭世界排名,重研究而輕教學的缺憾。

但如上所述,HEFCE與QAA受DfE委託,以既有資料庫統計資料的量化計算公式進行的TEF教學評鑑結果公布後,等於將英國大學重新洗牌;還好這次公布的TEF評鑑結果並不影響各大學2017學年度學費之可否調整,直接衝擊不大;而且此次若干擴充教育學院或私立大學喜出望外獲「金」或「銀」,對這些學校等於打了一劑強心針。

但因英國政府宣告,未來TEF的評鑑結果將作為2018學年度以後學費調整之依據,故由此次TEF結果公布當天就有許多學校反映,建議對TEF的評審過程應重新進行進一步檢視,必要時也須修改其評審機制的情形觀之,未來英國在各地區政府各唱各調、自己走自己的路的情況下,TEF是否能依其規劃繼續執行,或將會再做哪些巨大的改變,都還有待日後觀察。

◎參考文獻

楊瑩(2016)。教學卓越架構(TEF)──英國大學教學評鑑之新制規劃評鑑雙月刊,62,32-41。

Department for Business, Innovation and Skills (BIS). (2015). Fulfilling our potential: Teaching excellence, social mobility and student choice. Retrieved from https://www.timeshighereducation.com/sites/default/files/breaking_news_files/green_paper.pdf

Department for Business, Innovation and Skills (BIS). (2016). Teaching excellence framework: Technical consultation for year two. Retrieved from  https://www.gov.uk/government/uploads/system/uploads/attachment_data/file/523340/bis-16-262-teaching-excellence-framework-techcon.pdf

Department for Education. (2016). Teaching excellence framework: Year two specification. Retrieved from https://www.gov.uk/government/uploads/system/uploads/attachment_data/file/556355/TEF_Year_2_specification.pdf

Higher Education Funding Council for England (HEFCE). (2016). Teaching excellence framework: Year Two additional guidance. Retrieved from http://www.hefce.ac.uk/media/HEFCE,2014/Content/Pubs/2016/201632/HEFCE2016_32.pdf

Higher Education Funding Council for England (HEFCE). (2017a). Teaching excellence framework results. Retrieved from http://www.hefce.ac.uk/tefoutcomes

Higher Education Funding Council for England (HEFCE). (2017b). New assessment highlights excellence of teaching and learning across UK universities and colleges. Retrieved from http://www.hefce.ac.uk/news/newsarchive/2017/Name,114556,en.html

Higher Education Funding Council for England (HEFCE). (2017c). About the TEF:  Frequently asked questions about the TEF. Retrieved from http://www.hefce.ac.uk/lt/tef/whatistef/teffaq/

Times Higher Education (THE). (2017). Teaching excellence framework (TEF) results 2017. Retrieved from https://www.timeshighereducation.com/news/teaching-excellence-framework-tef-results-2017

Weale, S. (2017). Top UK universities miss out on gold award in controversial TEF test. Retrieved from  https://www.theguardian.com/education/2017/jun/22/many-top-uk-universities-miss-out-on-top-award-in-controversial-new-test

 列印 |  轉寄好友 |  Top |  回首頁

本期目錄
-本期目錄