財團法人高等教育評鑑中心基金會  

 

如何評估學生學習成效-以加州州立大學長灘分校系所訪視與測量中心之經驗為例
文/黃淑玲、池俊吉
  高等教育評鑑中心助理研究員
圖/黃淑玲

美國西部大學校院認可協會(Western Association of Schools and Colleges, WASC)於今(2010)年9月23-24日在美國洛杉磯舉行學生學習評估研習(Retreat on Student Learning Assessment)。高等教育評鑑中心為因應未來以學生學習成效為主軸的評鑑模式,亦組團參加,以瞭解美國區域性評鑑組織如何實際推廣學生學習成效評估的觀念與執行,進而與各受評學校建立夥伴關係。參加此研習營者,皆是受WASC評鑑的大學所派任的代表,如專責學程訪視(program review)與測量等相關事務的中心/處室之專責人員或教師。

學習成效評估常面臨的17項問題

WASC累積舉行學生學習成效評估研習營多年的經驗,深知下列17項議題是各校進行成效評估時最常遇到的問題:

1.什麼是評估(assessment)?

2.建立高品質的學習成效。

3.課程的評估:規劃與執行。

4.學程的評估:規劃與執行。

5.通識教育或全校性評估:規劃與執行。

6.發展與運用評量矩陣。

7.鼓勵教師參與評估。

8.發展課程地圖以調和(alignment)科目、課程與學習成效。

9.媒合教學法、評分方式與學習成效。

10.如何詮釋學習成效之分析結果以利改善。

11.善用課程實作進行評估。

12.善用學習歷程檔案進行評估。

13.善用科技支持評估。

14.將評估內化於學程訪視中。

15.評估研究所學程。

16.學務與行政單位的評估。

17.建制永續發展的評估。

從上列各項議題不難發現,評估學習成效所牽涉的層面不止於評估本身,學習成效還必須與教學法、課程內容、評估方式做整體規劃;評估的層面也從單一學程到全校整體、教師參與、評量工具的研發、科技和評估的整合等;學習成效高低更牽涉教務與行政體系的運作;最後則是評估機制需要深化到學校的制度面,並善用評量結果反饋各校受評層級,使評量長足發展。

加州州立大學長灘分校(California State University, Long Beach)系所訪視與測量中心(Program Review and Assessment)主任Michelle Saint-Germain博士累積多年的評估經驗,發展出可循序漸進瞭解學生學習成效的指引。本文依序加以說明,提供國內參考,並鼓勵各校依據現況加以參酌運用,以符合實務,表現各校特色之精神。

學生學習成效評估指引

以下依序說明學生學習成效評估指引,並加以延伸。

1.認識學生學習成效

學生學習成效(Student Learning Outcomes, SLO)可以從意義、制定者、訂定程序、項目多寡、公布方式開始。簡單來說,學生學習成效就是學校希望學生在課程結束或取得學位後,所獲得的知識與展現的能力。劉義周等(2008)提出企業雇主評量大學畢業生職場表現的十項指標,如專業能力、溝通協調、創新能力等,即說明國內就業市場對於學生學習成效的具體需求。事實上,制訂學習成效所需具備的能力項目可以參考他校相近似的學系與專業協會的建議等,或邀請畢業生、雇主、諮詢委員、碩博士班教師等專家學者共同參與。行政程序則需要多次會議溝通協調,尋求該學系全體教師們的共識,考量課程與學位需求後訂定。學習成效應具備的核心能力項目之多寡不是絕對,而是斟酌實際情況為重。最重要的是昭告天下,將學習成效應具備的能力公布於學校網站、課程大綱,或相關的宣傳文宣中,提供學生或家長們參考。

2.撰寫學生學習成效的核心能力

訂定學習成效時,必須先思考三個問題:1.畢業生必須知道什麼?2.他們能做什麼?3.有何獨特性?

學生學習成效宜明確但不狹隘,成效結果可觀察且可測量。因此,描述學生應具備的能力時,可用分析、分類、預測、評估、組織、規劃、展現、整合等語氣主動的動詞來描述。例如,社會學教授可將「熟悉社會學理論與概念」,轉換成「說出重要社會學家及其重要社會學概念」;「撰寫研究報告」轉成「正確運用研究方法,並進行研究計畫」等。

3.課程設計與學習成效的銜接

課程與課程間可能有難易度之別,課程設計才能密切銜接;相對地,學習成效的評估方法,也須依據課程難易度,設計出更適切、有針對性的評量內容,才不會獲致錯誤的學習評估結果。

換言之,課程設計難易度可能有初級、中級、高級之別。對於初級課程,學生能力的展現方式可能多集中在描述、記憶、講述;中級則提升至應用、展現、詮釋、分析、評論、比較、解決等能力;進入高階課程則可能是創造、規劃、管理、建構等主動性的能力。以社會學理論的學習成效能力之發展程度為例,初級為「分辨社會學主要理論與學者」;中級為「運用社會學理論解決社會問題」;高級為「審閱他人的社會學研究計畫」。所以,學習成效目標在初級課程中,若是屬於記憶或描述,評估學習成效時,就不能要求學生運用理論,設計一套解決社會問題的方法。

4.課程地圖(curriculum mapping)與學習成效之核心能力

瞭解學習成效須依據課程設計難易度之規劃,做課程適當地銜接後,接下來就是設計一張屬於該學系(學程)的課程地圖。此圖表可幫助師生們瞭解整個學系(學程)的學習架構與脈絡。每個授課科目都必須至少涵蓋一個核心能力,若某個核心能力完全沒有被任何一門必修課所涵蓋,或是許多科目都包括某個特定的核心能力,則經過一定的行政程序後,可考慮重新設定或分配給最適合的那門(些)科目。

考慮核心能力與課程難易度(初、中、高級)的對應關係,建議課程地圖可如下表所示:

上表清楚對照每門學科所涵蓋的核心能力。值得注意的是,沒有任何科目涵蓋能力3,科目B也沒有包含能力1至5的任何一項。所以經過一定的行政程序後,應再行確認調整,甚至移除。能力4則幾乎每門課程都包括,故必須重新考慮適當性。

5.選擇評估方法

「評估」是瞭解學生獲得學習成效的過程,與評分(grading)最大的不同在於評估是由系內全體教授共同決定。評估方法分成直接與間接兩種,前者包含書面或口頭報告、GRE標準測驗、實習等直接反映獲得學習成效的程度;後者則是學生滿意度調查或校友對其學習回顧等自評。

6.媒合教、學與成效評估策略

在訂定學習成效的核心能力後,各門課程的教、學方式與課後作業,也應配合上述第3點,根據課程設計的不同而不一樣。若課程設計處於初級,則教學法多屬教授講解、指定閱讀、討論,評估方式則多為是非、選擇與填空等測驗方式;到了中級,教學多使用小組合作或網路討論,評估也傾向瞭解學生解決問題的能力、小組報告、網路討論問答等;一旦進入高級,教學法即進入學生導向、知識共構的階段,成效評估則以學生教學、實習,或自行設計、執行並自我評量為主。

7.蒐集學生學習的事證

蒐集學生學習的證據需要多年時程,最常使用的方法有內含評估與外在評估兩種。內含評估蒐集學生課程內的作業或成品,所以蒐集起來方便,也沒有額外的花費;另一種是外在評估,即如校外標準測驗(如GRE、語言測驗)。因為並非所有的學生都會參加外在評估,考試費用也由參加者自付,因此蒐集外在評估事證必須考慮其是否具有代表性的問題。再者,並非逐年增加的事證資料都要蒐集,可以跨年、跨科目進行,才不至於事證資料過度龐大繁雜,致使評估分析時有實務上的困難。蒐集事證時,可規劃五年一期的計畫,並考慮四項要素:1.蒐集那類事證;2.何時、何地蒐集;3.誰蒐集;4.如何分析。

8.分析學生學習的證據

分析學生學習事證的三大原則是:明列評量指標(criteria)、成效表現程度的種類(超乎水準、優、欠佳、亟需加強),以及對學生表現的預期等。評量矩陣(rubrics)可以充分表現上述指標以及表現程度的種類。詳細內容可參考本期〈加州大學洛杉磯校區執行學生學習成效之策略與實務〉一文。最重要的是,分析事證後必須做總結,與對學生表現的預期進行比照。例如,比起預期95%的學生能「說出重要社會學家及其重要社會學概念」,實際上僅有87%能達到此學習成效。

9.運用學生學習的證據改進學系教學

當分析出來的學生學習成效在學系(學程)層面是符合預期的,就表示這學系(學程)具有優良的程度,教師們可以考量提高標準或評量下一個學生學習成效。如果低於預期,教師就必須重新檢視學習成效的定義、教與學的策略等。學習評估是一個不斷演進的過程,目的在於學系(學程)持續改善,所以無論學習成效為何,都需要定期檢驗。

10.明瞭學生學習評估的意義

進行學生學習評估的目的就是提升學生品質、改進學生學習,以及畢業生的品質與就業力;進而也回應績效責任與透明度、立法單位要求的效能及人民有權力獲得資訊等。

評估學生學習成效 應不斷溝通、達成共識

上述評估指引使執行學生學習成效評估更具體。最後,不斷溝通、協調、達成共識,才是成功執行學生學習成效評估的保證。

◎參考文獻

Anderson, L.W., & Krathwohl, D. R. (Eds.) (2001). A taxonomy for learning, teaching and assessing: A revision of Bloom’s taxonomy of educational objectives (Complete edition). New York: Longman.

Saint-Germain, M. (Producer). (2010). Student learning outcome assessment in ten easy steps [Radio procast]. Retrieved from http://itunesu.csulb.edu/

彭森明(2010)。美國公立研究型大學學生學習成效評估計畫之實施評鑑雙月刊,27,14-17。

劉義周、游清鑫、蔡佳泓、莊文忠(2008)。評鑑大學教學成效:工商業雇主最愛誰?評鑑雙月刊,15,26-28。

 

 列印 |  轉寄好友 |  Top |  回首頁

本期目錄
-本期目錄
單元相關文章