財團法人高等教育評鑑中心基金會  

 

AHELO──OECD高等教育學習成果評量計畫
文/蔡小婷
  輔仁大學管理學院組員

近幾年來,大學排名如雨後春筍地發展,成為社會大眾與政府機構看待大學的重要角度之一。但排名高度依賴量化指標,因此以問卷調查而得的「學術聲譽」、有較多資料可循的資源投入(input)以及容易量化的「研究績效」(如期刊發表、研究經費、獲獎次數),即成為大學排名的重要指標。但是上述面向只是大學機構功能的一部分,並無法代表教與學的品質,也無法呈現大學的多樣性與辦學環境。有鑑於此,經濟合作暨發展組織(Organization for Economic Co-operation and Development, OECD)推出「高等教育學習成果評量」,擬由「學生學習成果」的角度切入,了解目前高等教育的學生究竟學習到了什麼樣的知識與技能(OECD, 2012)。

2010年1月,OECD啟動跨越國家文化界線的「高等教育學習成果評量」計畫(Assessment of Higher Education Learning Outcomes,簡稱AHELO)。此計畫的目的在於研究目前高等教育學生的知識(know)以及技能(can do)為何(OECD, n.d.a)。

AHELO計畫的目的

AHELO計畫的目的,在於發展一個直接評量的工具,測驗大學生的學習成果,此測驗是全球適用的,可以跨越各個文化、語言,以及大學機構的差異。事實上,AHELO也可以是一項工具——對大學來說,AHELO可幫助大學機構評估並改善教學品質;對學生來說,AHELO的成果資料可做為選校的參考;對決策者來說,AHELO可以幫助他們更有效率地運用高等教育的經費;對雇主來說,AHELO可使他們了解畢業生進入職場時,是否確實具備了就業的知識與能力(OECD, n.d.a)。

AHELO的計畫目的與OECD另一個「國際學生能力評量計畫」(Programme for International Student Assessment,簡稱PISA)不同。PISA主要是針對各國的15歲學生進行測驗,了解他們完成基礎教育後,對於未來生活可能面對的問題情境、準備的程度,以及他們習得的知識和技能程度為何。測驗的科目為閱讀、數學與科學,每三年進行一次(臺灣PISA國家研究中心,2010)。迄今,已有74個國家/經濟體參與這項計畫,臺灣也在其中(PISA, 2012)。PISA每三年均會公布研究成果及排名,目前累積了2000、2003、2006、2009年的成果報告(PISA, 2009)。AHELO則不會就各國大學的學生學習成果進行排名。目前AHELO計畫的主軸,在於建立評量工具的跨國可行性,參與的學校所提交的評量資料均是匿名的(OECD, n.d.a)。

研究方法

● 學生學習成果的測驗範圍與方法

OECD將欲評量的學生學習成果,分為三大部分(OECD, n.d.a;OECD, n.d.b):

1.共通能力(generic skills)

意即所有的學生在大學教育中會學到的能力,包含批判思考、邏輯分析、問題解決與寫作溝通等能力。

共通能力的測驗工具,是修改自美國教育補助委員會(Council for Aid to Education, CAE)所發展的「大學生學習評量」(Collegiate Learning Assessment, CLA)。此份「大學生學習評量」已廣泛使用於美國各大學。在AHELO計畫中,學生有90分鐘的時間完成兩項任務。其中一項屬於綜合性任務,要求學生必須運用其整合的共通能力,回答數個假設性(但可能實際發生)的開放性問題,並從各類資料中(如信件、研究摘要、地圖、圖表等)歸納整理出頭緒或線索,方能完成任務。

2.學科專業能力(discipline-specific skills)

AHELO計畫先針對經濟學(economics)與工程學(engineering)兩大科目進行研究,因為這兩大科目即使在不同的國家文化裡,知識內容也是相近的。測驗的內容並非死板的知識條目,而是學生如何將所學確實運用在環境中的能力。

(1)經濟學測驗

具體而言,AHELO的經濟學測驗著重在學生能否「用經濟學的語言來解決現實生活中的問題」。此牽涉到基本的經濟學知識,以及概念應用、評估工具使用、資料分析,並且將結果用適當的語言表達、讓他人理解的能力。OECD委託美國教育測驗服務社(Educational Testing Services, ETS)發展經濟學知識架構與評量方式(Economics Framework and Economics Assessment)。學生同樣有90分鐘的時間,完成一項綜合性的任務與45題選擇題。

(2)工程學測驗

而工程學長久以來已發展出國際互通的標準。一位工程師應具備何種能力,在國際上已有完整的界定,並被多數國家採用。AHELO的工程學測驗,目的為了解學生「在應用工程學概念、使用統計與非統計工具,擬定結論,以及提出相關建議與策略的能力」。計畫中,工程學知識架構與評量方式(Engineering Framework and Engineering Assessment)是委託澳洲教育研究委員會(Australian Council for Educational Research, ACER)帶領的研究團隊——由日本國家教育研究院(National Institute for Educational Policy Research, NIER, Japan)與義大利Florence大學的歐洲工程師網絡(European network of engineers, University of Florence, Italy)所組成——共同研究發展。相同地,學生必須在90分鐘內,完成一項綜合性的任務與45題選擇題。

3.學習情境資訊(contextual information)

以問卷調查的方式了解學生學習的背景與情境狀況為何,分為教師、學生與學校三大面向,著重於大學教育的輸入與過程(input and process),包含學生就讀大學時已具備的初始知識技能(initial knowledge and skill)為何、課程設計、學生對學習的投入程度、教學資源與教學品質等。這部分由澳洲ACER、美國高等教育政策研究中心(Center for Higher Education Policy Studies, CHEPS)以及美國高等教育研究中心(Center for Postsecondary Research, CPR)發展研究。

學習情境資訊調查在AHELO計畫中,是極為重要關鍵的一環。調查所得的資料可以與評量而得的成果進行比較分析,以了解對於什麼樣的學生,在什麼樣的學習情境下會獲得什麼樣的學習成果。同時,也可歸納出評量分數高的學校,其學習情境的特點為何,提供學校更具體精準的建議,協助他們改善教學品質。這些資料對於未來相關研究的發展,也相當寶貴。

● 建立可行性

跨國的學生學習成果評量研究中,最重要的就是評量工具的跨國「可行性」(feasibility)。AHELO計畫分為兩階段進行可行性的研究(OECD, 2012):

階段一:發展評量架構與工具(2010年1月至2011年6月)

AHELO先發展共通能力、兩大學科專業能力的國際化評量架構與測驗工具,再進行小規模的測驗,建立橫跨語言與文化的效度。共通能力評量的設計,是先由各國參與此計畫的專家選擇可用於評量的相關資料,將其翻譯成該國語言,確保評量工具能夠適用於各個文化。

經濟學與工程學測驗則是評量大學四年級學生應具有的知識與能力。由ETS發展的經濟學評量架構與工具須先接受經濟學專家小組審核並取得共識;而由ACER與NIER發展的工程學測驗,同樣需要接受工程學專家小組檢視。之後由參與計畫的國家在各個大學舉行小型焦點團體的測驗,以建立效度。

經過上述努力,發展出來的國際化評量架構與測驗工具,會先在相異性高的大學機構裡開始施測,以找出評量的最佳實施方式,並鼓勵教師、學生以及其他計畫人員持續參與。

階段二:發展科學可行性(scientific feasibility)與實務可用性(proof of practicality)(2011年3月至2012年12月)

階段二中,AHELO開始收集學習情境資訊,定義出會對學習成果造成影響的因素,進行問卷的架構。問卷的內容中,也有一部分是由參與國家另外提供的問題。這些收集到的資料,將會用於心理計量特質分析(psychometric analyses),例如偏差分析(bias analyses),並更深入地檢視測驗工具的信度與效度。

從2011年11月起,參與各國的計畫負責人,必須接受6至7個月的訓練,以了解如何進行取樣與評量。每個國家必須邀請10所大學參與,每所大學則隨機取樣200位學生上網接受測驗。

圖一 AHELO計畫實施階段時程圖

AHELO計畫品質的檢視指標

一項研究計畫的成功,除了確實地往前進行外,研究人員必須不停地檢視計畫內容與執行過程,才能確保計畫的品質。AHELO計畫發展了相關的指標,以自我檢視前述三大知識技能的評量工具,以及計畫執行過程的品質為何。OECD將指標分為兩大類:科學可行性(Scientific feasibility)與實務可用性(Practical feasibility),茲簡述如下(OECD, n.d.d):

● 科學的可行性

1.是否真的有可能發展出可確實評量出學習成果的工具,並且在不同的國家與學校實施時,都具有效度?
2.測驗的內容與結果,是否均具有信度與效度?
3.較高層次的測驗題目(higher-order types),在不同的國家施測時,評分方式是否具有一致性?
4.蒐集到教與學的脈絡資訊,是否有助於詮釋學生表現差異的原因?

● 實務的可用性

1.如何有效地在各國與各大學內實施此計畫,並確保大學與學生會確實合作?
2.如何激勵學生參與,並認真看待此測驗?
3.參與此計畫的學校,能從中獲得何種助益?
4.如何呈現此計畫對於改善教學品質的價值,並且讓社會大眾支持此計畫?

為了使計畫執行的過程更為嚴謹,在階段二的時候,還必須檢視以下指標(OECD, Group of National Experts on the AHELO feasibility study, 2012, p.7):

1.建立嚴謹完善的研究方法,使計畫內容與執行過程得以依循。
2.此計畫可讓教師參與,並隨機取樣學生擔任受試者。
3.本計畫設計的測驗工具成功地在各參與國家的大學中進行測驗。
4.執行計畫人員接受過評分的訓練,讓評分結果能夠跨越語言文化進行歸納。
5.統計評量結果所歸納出的報告內容,對於學校是極有助益的寶貴資訊。

初步研究成果

歷經了長時間的作業,結集各國專業組織與專家學者,AHELO建立了確實且周全的指標,使得AHELO計畫的跨國可行性漸漸成為可能。目前AHELO計畫尚未結束,完整的研究成果仍待2012年12月以後方會完成。而根據OECD於2012年3月公開的《可行性研究期中報告——研究成果摘要》(Interim feasibility study report - Executive summary),目前的研究發現為(OECD, Group of National Experts on the AHELO feasibility study, 2012, p.6-7):

1.截至目前為止,還不能確定共通能力評量架構已達成國際性的共識;此外,雖然研究方法與過程進行良好,但以選擇題做為評量各國學生共通能力的測驗工具,在學者專家間仍有不同意見,信度與效度也還不足。

2.藉由各國專家學者的努力,經濟學與工程學的評量架構已逐步發展出信效度,意味著分科學習成果(discipline-specific learning outcomes)在制定國際標準與國際評量方面,很有發展的潛力。

3.學習情境資訊的調查研究也發展出信效度,此代表著在國際上,大多數人對於影響高等教育學生學習成果的因素具有相似的看法,並達成共識。

而在AHELO計畫的執行上,則有以下發現:

1.AHELO計畫中的評量設計,提供了跨國學生學習成果評量可行的願景與策略。而以選擇題來測驗各國學生的共通能力之架構與方式,目前遭遇到不同的意見,因此未來需要更多的討論。

2.在經濟學、工程學與學習情境資訊的研究方面,各國計畫負責人及參與人員的執行均十分有效率。根據執行計畫所累積的經驗發現,若讓政府教育部門、大學、學生與相關人員較深入地參與,計畫的執行會更為確實迅速。

3.跨國、跨文化與跨語言的評量工具國際化工作,目前已經完成。所有的參與國家都已將測驗內容翻譯完畢,並已修改調整以符合其文化脈絡。學習情境資訊調查的信效度也已經完整建立。

4.此計畫受到各參與國家的學校大力支持,使得執行計畫的效率超過原先的預期。各國計畫負責人在邀請大學參與的過程中,幾乎沒有遇到阻力。

計畫參與國家

此計畫的規模十分龐大,截至目前為止,共有17個國家參與了這項計畫。目前東亞地區僅日本與韓國名列其中。此17個國家羅列如表一。

表一 AHELO計畫參與國家一覽表

結語與未來展望:加值評量

AHELO計畫並不會在2012年告一段落後即宣告結束。事實上,OECD預計根據2012的可行性研究成果,做為此計畫延續與擴大執行的參考。若最後的研究成果是正面的,2016年將展開更大規模的AHELO計畫(OECD, n.d.e)。

僅僅了解學生在高等教育中學習到的知識與技能,可能還不夠。學生學習成果中,另有一個很重要的面向,即學生知識與技能的「成長」。學生接受了大學教育後,他們在學習中獲得的成長,可代表學校辦學的效能與進步以及學校對於學習成果的真正貢獻。因此,OECD認為,不只在學生的學業完成時評量他們的知識能力,也需要進行「加值評量」(value-added measurement)的研究,探討學生能力成長了多少,以了解學校對於學生學習成果的「淨貢獻」(net contribution)為何(OECD, 2012)。

然而,對於一個跨國的學生學習成果研究來說,欲切割出學生原有的能力,再評量出他們學習後的成長,是一件非常困難的事。目前AHELO計畫先以建立跨國的可行性為目標,尚未進展到加值評量的程度。但此計畫的研究方法、研究成果及相關資料,將會做為未來發展「加值評量」研究的參考(OECD, 2012)。

◎參考書目

OECD. (n.d.a). Testing student and university performance globally: OECD's AHELO. Retrieved from http://www.oecd.org/edu/ highereducationandadultlearning/ testingstudentanduniversityperformancegloballyoecdsahelo.htm

OECD. (n.d.b). Getting the right data: The assessment instruments for the AHELO feasibility study. Retrieved from http://www.oecd.org/edu/ highereducationandadultlearning/ gettingtherightdatatheassessmentinstrumentsfortheahelofeasibilitystudy.htm

OECD. (n.d.c). Countries participating in the AHELO feasibility study. Retrieved from http://www.oecd.org/edu/ highereducationandadultlearning/ countriesparticipatingintheahelofeasibilitystudy.htm

OECD. (n.d.d). Evaluation of the AHELO feasibility study outcomes. Retrieved from http://www.oecd.org/edu/ highereducationandadultlearning/ evaluationoftheahelofeasibilitystudyoutcomes.htm

OECD. (n.d.e). AHELO frequently asked questions. Retrieved from http://www.oecd.org/edu/ highereducationandadultlearning/ ahelofrequentlyaskedquestions.htm

OECD, Group of National Experts on the AHELO feasibility study. (2012, March). Highlights – the AHELO feasibility study: What have we learned so far? Interim Feasibility Study Report – Executive Summary, presented at the 9th meeting of the AHELO GNE, Paris. Retrieved from http://www.oecd.org/officialdocuments/ displaydocument/?cote=EDU/IMHE/AHELO/GNE(2012)6&doclanguage=en

OECD. (2012). Project update – May 2012. Retrieved from http://www.oecd.org/edu/ highereducationandadultlearning/ 48088270.pdf

PISA. (2009). PISA 2009 key findings. Retrieved from http://www.oecd.org/pisa/ pisaproducts/pisa2009/ pisa2009keyfindings.htm

PISA. (2012). PISA 2012 participants. Retrieved from http://www.oecd.org/pisa/ participatingcountrieseconomies/ pisa2012participants.htm

臺灣PISA國家研究中心(2010)。評量內涵。2012年7月28日,取自http://pisa.nutn.edu.tw/pisa_tw_03.htm

 列印 |  轉寄好友 |  Top |  回首頁

本期目錄
-本期目錄
單元相關文章