財團法人高等教育評鑑中心基金會  

 

銘傳大學學習成果評量實施之經驗分享
文/王金龍
  銘傳大學學術副校長

學習成果評量乃為標準化之資料收集過程,亦屬檢視成果之斷層掃瞄,可助教育組織明瞭其所提供之教學、活動或經驗傳承,對學子是否具預期且正向之差異。學習成果評量亦是找尋標竿案例的有效搜尋器,可明確找出有效教學與學習的教師與學子,其傑出的教學方法與學習策略可作為典範,並將其經驗傳承交流給其他師生,作為仿效學習的標竿案例,以縮短教學與學習歷程中的摸索;相反地,亦可挖掘出教師與學生教與學的盲點,從中確認教學資源應挹注的重點。本文欲探索學習成果之定義與益處、評量方法與標準、評量之系統化,詳見下文闡釋。

學習成果評量 揭開教與學的黑盒子

教師教學品質與學生學習成效之關聯有時宛若黑盒子般,彷彿看得清卻似乎摸不明。目前各校現行機制,多以學生的教學評量問卷來評定與參考教師教學表現。雖然各校實施教學評量問卷多年以來均獲得不錯的具體成效,但當中猶讓人憂心者為學生未必能公正客觀地看待問題;愈嚴格認真的教師往往分數愈低,故不受歡迎的教師實未等同其教學品質不優異。

至於學生學習成效之層面,一般多由教師計算之期末成績高低加以評斷;但教師面對同一科目、但不同班級之學子時,給分標準未必相同,加上評量內容的差異,以致無法比較整體學生的學習成效,因而難以直接分析學系設定之核心能力與基本素養之關聯。

學習成果評量是將教與學之品質成效轉為標準化的利器,宛若將前文所云之「黑盒子」變成「透明箱」。透過學習成果評量所依循之PDCA(Plan, Do, Check, Act)概念,實可掌握學生學習成果概況,以檢討整體學生學習的困難點及學習能力之不足,以此作為系所課程重新檢討與設計課程之依據,並期能引導作為學生選課及強化能力之參考。

再者,學習成果評量乃以公平公正且具有信度、效度之標尺所量測。意即校方乃採同一水平基準測得學生成績表現,以檢討教師之教學成效(如:教學品質優劣,或具改善空間),以此發掘讓學生學習成效具體呈現的傑出教師。若依傳統之評量方式,教師們僅能依過往先例單純交付學期成績,或依學生施作教學評量問卷分數,實無法精確且客觀地洞悉發掘具體之教學成效。實施客觀且具信度與效度之學習成果評量後,教學優異教師之經驗談、心得、教學方法與教材,均可透過研習會、工作坊、教學社群等方式,有系統地傳達予其他教師,以期促進提升教育組織之整體教學能量,校方亦能更準確地挹注教學資源予教學成效需提升處,並發掘學子修業之普遍弱點。舉凡建置實驗室、購買軟硬體、聘用更多的師資、開設適當的課程等,均可藉學習成果評量加以衡斷,提高學生學習成果及競爭力。

學習成果評量的定義與益處

學習成果評量可提供教育組織若干有效資訊,包括教學、活動或經驗傳承,對參與者是否具預期影響。「預期影響」乃指學子透過涵育後以期獲得核心能力與基本素養,評量則欲證明學子是否具備核心能力與素養。簡而言之,學習成果評量乃欲檢測教育組織是否創造出預期且正向差異性。

學習成果評量的益處良多,對於學生、教師與高教管理者不同的角度面向而言,個別益處可分述如下(Cartwright, Weiner, & Streamer-Veneruso, 2009):

1.對學生而言:果評量可向學生傳達課程或學程最重要之學習期望,或學習後可展現之成果;成果評量亦可揭示,課程或學程均具共同核心標的,足以貫串課程的全數設計或學程中的所有課程。凡此種種乃是向學生溝通,其學習成果將依憑一致且透明之機制;學生更可依評量成果,彈性調整修習課程或學程。

2.對教師而言:教師參與成果評量有助其教學時,可定位出其專注與依循之共同核心標的,亦可協助教師釐清執教課程或學程中,哪些成果確實達成或無法達成,而良好的學習成果實可具體證實教師的心血結晶。另外,成果評量也可向利害關係人(如:行政人員、政界人士、雇主與潛在學生)說明相關學程或課程之學習成果,並向經費決策者提供有力證據,證明其在教學所需之資源,以維持或改善學程,將資源的投入做最有效的發揮。

3.對高教管理者而言:實施校級成果評量可展示學校對學子之承諾及對外之誠信,持續精進校方設計之學程與服務。尤其向政府或私人募求資金時,評量結果可提供有利佐證,支持學校卓越化發展的需求。針對募款資金來源,成果評量資料可證明學校是否達成其原本設定之目標;針對校務計畫,本結果可提供決策依據,決定政策方向與資源挹注點;針對政府、企業和潛在捐贈者,學習成果是最醒目及令人信服的佐證,證明學校確實對學生和社會均具貢獻。

建構不斷循環改進的評量機制

銘傳大學各教學單位依照已訂定的宗旨、目標、策略、基本素養與核心能力,選定適當目標以設定學習成果,並根據各學習成果制定評量方法和標準,進而分析評量結果,協助檢核宗旨、目標、基本素養、核心能力與課程。銘傳大學盼能落實戴明(W. Edwards Deming)之PDCA循環概念(Johnson, 2002),形成良性且不斷改進的持續性機制。

在規劃(Plan)階段,搜集產業界、校友、校友雇主、教師和學生的意見,綜合規劃學系之宗旨、目標、策略、基本素養、核心能力,並特別強調學子在研修後可展現於外的成果,及衡量成果之評量方法與評量標準。在執行(Do)階段,教學單位依照學系各項規劃為中心,進行系務治理與經營、課程、學程、教學活動,並且安排學習資源與支援。在評量(Check)階段,校方可執行學生學習評量,依照評量方法與評量標準設計出具備信度和效度的完善檢核方式,並統計評量的結果,以分析學生學習成果之優點與缺點,依不同職級與權限發布評量結果。在行動(Act)階段,學系依照評量所得到之優缺點,擬訂教學品質改善的機制,包括重新設計教學方法、調整核心能力與基本素養,或爭取更多的資源以精進學生的學習成果。銘傳大學成果導向評量之PDCA流程圖可參見《評鑑》雙月刊28期第24頁圖二。

另外,學系發展方向必須服膺校、院之宗旨與目標,而學系之核心能力及基本素養亦須與發展宗旨和目標結合,另課程主軸、單元設計與規劃均應以培養「核心能力」及「基本素養」為依歸(請參見《評鑑》雙月刊28期第25頁圖三)。上層級的宗旨和目標較為宏觀與廣泛,也較不易評量,層級愈下階則愈微觀、明確且易評量。宏觀的目標往往非系級教學單位可達成,必須藉由通識教育、輔導體系、身心適應與社團等層面共同養成,多由問卷、訪談等間接評量方式評量成果;能力與課程層面則比較適合系級教學單位來執行,其評量結果具即時改善課程之效,多藉測驗、證照、實驗、實習、報告等直接評量方式評測之。其中,能力層次的評量是屬於總結性的評量,比較具備評量代表性,且評量此項目之尺標數量亦不多,可專注且有效地評量學生總體的狀況而非片段的知識;而課程與課程單元層次之評量形態,則太過於龐大且影響度亦不高,故此二者的評量僅屬形成性評量。

大體言之,能力層次的總結性評量是最有利之執行標的,課程層面與單元層面可以先用間接性評量方式,分別達到教學反思與單元評量提醒之效即可;在執行之後,校方可型塑標準化評量風氣與共識,繼之順勢而為全面推動,以達實質成效(王金龍,2010)。

學習成果評量執行流程

在高等教育學習成果評量的實踐與推動上,簡單可分為三大主要階段:1.定義階段:校方先定位成果,訂立學子在學習歷程所需達到的最重要目標,作為教學與制定學習方向之訴求。2.評量階段:在教學歷程中,適切地利用形成性或總結性的評量,評估學生實際達成學習成果的程度。3.改善階段:運用評估結果去反思與改善教學與學習歷程,形成積極且循環改善的機制。

銘傳大學在學習成果評量實作的經驗,基於上述三大主要階段外,詳細步驟如下:

首先應確立核心能力與基本素養,建立課程與核心能力的關聯性;並給予百分比例說明比重關係,針對各能力訂定學習成果與檢測之評量方式。當檢核評量完成後,可收集結果數據以分析學習成果狀況,據此撰寫自評改善策略報告,並於資訊系統中發布評量結果,作為院、系、所課程會議檢核參考與教師教學方法的自省依據。此歷程可重新檢視核心能力與基本素養訂定之適切性,以及修正課程方向與核心能力關聯比例的相關性,以收精進學習成果、至改進能力回饋之效。

學習成果指標撰寫要素

銘傳大學各系在制定學習成果指標時,依循SMART及ABCD原則為基礎。SMART原則是管理學大師Peter Drucker在1954年提出,係目標管理的方法之一,SMART五個字母意指在訂定目標時須符合:Specific(具體明確)、Measurable(可以衡量)、Attainable(可以達成)、Results-oriented(結果導向)和Time-bound(具有期限)(Wheeler, 2008),才是一個明確具體可執行,並且可追蹤的有效目標。ABCD原則是另一個廣為熟知設定教學目標與學習目標的方式,代表學習成果在敘述時須包含:學習者(Audience)、特定行為或能力(Behavior or capability)、特定情境(Conditons)、評量標準(Degree)(張霄亭等,1997)。

綜合上述原則,銘傳大學建議學習成果指標須具備下列五大要素:

1.學習對象:以學習者角度為出發,明確指出學習對象。

2.時間期限:目標必須有執行時限,才能夠隨著時間進展去追蹤執行程度。

3.行為動詞:一般教學目標或學習成果可分為認知、情意與技能三大領域,每一領域又可細分為幾個層次與其所對應的行為動詞,如運用、分析、演算、證明、操作、規劃等,適切的動詞可以具體識別出目標能力的表現與衡量方式。

4.能力成果:學習者透過學習可獲得的專業知識或行為技能。

5.評量標準:對上述成果目標的精熟程度,亦即評量學習成功的標準,該標準必須可實現且可衡量,且不宜太過簡單或太過理想化,以致淪為口號難以實現;標準亦須具體,方能確認及評估達成目標與否。

學習成果撰寫的範例,如圖一、圖二。

圖一 學習成果指標撰寫範例一

圖二 學習成果指標撰寫範例二

直接為主、間接為輔的學習成果評量

評量方法應以「直接評量」為主,「間接評量」為輔,儘量配合畢業實作課程(capstone course)(如表一)。「直接評量」是針對學生知識、技能、態度或實際行為表現,設計測驗、心理量表或問卷等工具,並運用上述工具評量學生之學識程度及心理狀況,常見施測工具如證照考試、課內考試、專題報告、畢業實作課程等。「間接評量」則是利用問卷調查、畢業校友追蹤、雇主對畢業校友的工作滿意度,來衡量學生長期發展之學習成果(王金龍,2010)。

表一 評量程序與內涵

各學系選定評量方法後,應訂定對應之評量標準(assessment criteria),並依照評量方法擇定測試藍圖(test blueprint)或評量尺規(rubrics)。若學習成果的評量方法為測驗或會考時,各學系應訂定測驗藍圖,列出重要教學目標,再作為設計雙項細目表之命題依據,依此確保試卷品質、避免隨意與盲目出題;亦盼釐清教學目標和學習內容之關聯,使標尺更具信度與效度(王金龍,2010)。

如學習成果的評量方法是採專題報告、畢業實作、e-portfolio等,應訂定評量尺規以評估學子表現。評量尺規是以學習成果為基準的評估方式,學子可見各項標準之個別學習成果,明確地知曉學習弱點,而不單只得到某個單一總和分數;教師亦能逐一剖析各類學生表現之分項指標,提出更精確的教學改善策略。

核心能力成果評量結果分析

學習成果評量施作完成後,最重要的便是評量結果的分析,以作為精進課程與教學的建議與依據。銘傳大學學習成果檢測系統針對評量細項得分的輸入,會提供相關的分析數據與圖表(如圖三),協助教師很容易地解譯出評量資料(例如:評量項目之達成狀況、各試題形式的成績分布、各認知向度的成果等),以了解學習成果的達成狀況,勾勒出學習成果的整體樣貌。學系之專業教師群繼之撰寫描述性質報告,指陳學習成果優缺點,並依資料分析的結果及學習成果的框架以提出具體的建議。再依不同讀者的角色(系級、院級、校級)切入不同的角度,製作不同重點之報告與策略建議。

圖三 資訊系統分析圖表範例

成果評量的資訊化

銘傳大學從學習成果評量初始所需的能力規劃,過程中的單元評量、課程評量、能力評量至反思檢討,皆全面「資訊化」(如圖四),以利展示課程目標的達成狀況。此分析結果可分流匯入至學生與教師的e-portfolio中,搭配系所課程地圖,完整提供學生修課指引、選課規劃、核心能力發展、自我考核、學習輔導、生涯規劃、職涯追蹤與回饋,以及終身學習等有效機制,助學生規劃未來職涯方向,使其畢業後能速與職場接軌,增進就業力。

圖四 學習成果評量系統關係圖

落實成果評量資訊化之效益,除了解決資料儲存的問題,亦可協助龐大數據資料的交叉分析,後者尤為資訊化之最大功效。銘傳大學為有效分析評量結果,學習成果檢測系統提供各式的分析圖表;如在測驗藍圖的部分,為達到客觀的題目分析,針對每題試題皆統計試題難度(答對率)與鑑別度(如表二),以作為改進學生學習參考、實施補救教學的依據,並剔除或修改鑑別度過低之題目,增進測驗題庫的運用效能。銘傳大學為確保評量測驗的信度與效度,每份測驗藍圖與評量內容皆請同學科之其他同儕教師相互審查,以達專家效度之需求;信度則由系統協助作內部指標之一致性分析,並以數據評估之。大體言之,優良的測驗應具有α係數0.8以上的信度值,表示測驗所得結果間的穩定性與可靠度。

表二 測驗藍圖結果分析

先推動能力層次的總結性評量 再實施重點課程的標準化評量

銘傳大學自建立學習成果評量機制,完整落實PDCA循環的概念以來,橫向比較並挖掘出許多教學成效傑出的優質教師,建立起學科教學方法的典範,將優良典範的教學方法經驗傳承,縮短了其他專業教師在教學歷程中的摸索,加速整體教學組織的能量提升。學習成果評量也找出學生的學習弱點,除了作為學生個人選課的參考與能力加強的參考依據,也引動教師、系所主任、院長等檢討與反思課程品質,積極思考改善策略的風氣,上述皆為傳統單從教學評量(學生問卷與學期成績)所未及之處。

建議學習成果評量的推動必須循序漸進,優先推動能力層次之總結性評量,以減少教師負擔;待型塑出標準化評量風氣與共識後,再往學程或重點課程方向執行評量方式,以利全面順勢推展,達到學習成果評量之實質成效。

◎參考文獻

王金龍(2010)。銘傳大學學習成果評量推動之經驗分享評鑑雙月刊,28,23-29。

張霄亭、朱則剛、張鐸嚴、洪敏琬、胡怡謙、方郁琳、胡佩瑛(1997)。教學原理。新北市:國立空中大學。

Wheeler, A. D. (2008). How to write S.M.A.R.T student learning outcomes. Retrieved November 10, 2010, from http://www.alair.org/conf2008files/presentations/SMART.pps

Johnson, C. N. (2002). The benefits of PDCA. Retrieved September 20, 2010, from http://asq.org/qualityprogress/2002/05/problem-solving/the-benefits-of-pdca.html

Cartwright, R., Weiner, K., & Streamer-Veneruso, S. (2009). Student learning outcomes assessment handbook. Maryland: Montgomery College.

 列印 |  轉寄好友 |  Top |  回首頁

本期目錄
-本期目錄
單元相關文章