財團法人高等教育評鑑中心基金會  

 

加州大學洛杉磯校區執行學生學習成效之策略與實務
文/黃淑玲
  高等教育評鑑中心助理研究員

歷經各個校內自評與校外訪視,加州大學洛杉磯校區(University of California, Los Angeles, UCLA)於今(2010)年6月甫通過美國西部大學校院認可協會(Western Association of Schools and Colleges,簡稱WASC)第三階段評鑑(註1)-教育效度訪視(Educational Effectiveness Review)。此教育效度訪視即在評鑑大學執行學生學習成效(student learning outcomes)評估的情形。UCLA深獲WASC評鑑高度肯定,即在於該校脫離只求符合評鑑標準的思維,積極且策略性地提升評鑑要求之層次,進而鼓勵學生學習成效為核心的教育品質,超越自我,將UCLA推向更高的學術殿堂做為最終目的,也藉此創造大學與評鑑組織雙贏的局面。

策略性地將評鑑要求融入課程規劃

「發展與評估大學部學系之學習成效指導原則」(Guidelines for Developing and Assessing Student Learning Outcomes for Undergraduate Majors)即是成功秘笈。此指導原則的作者Jennifer Lindholm博士,與大學部副校長Judith Smith博士於今年9月接受筆者面對面專訪時提及,該原則是融合各方資料後,專為UCLA量身訂做而成。Lindholm博士並提供諮詢服務,協助各系建立成效評估制度。最終目的則是藉由WASC評鑑學生學習成效,鼓勵教授瞭解學生的學習經驗,促進學系持續改善;同時也滿足評鑑組織要求受評學校符合評鑑原則,促使各大學將測量學生學習的活動建制於各系所、學院與學校各層級中,藉此驅動學校對於教學品質的重視,達到品質保證的目的。

UCLA各系教授擬定學生的核心能力,經過各系的課程委員會通過後,依據「發展與評估大學部學系之學習成效指導原則」,建立學生學習評估制度。而大學部副校長Smith博士負責與各系的課程委員會溝通,將WASC對學習成效評鑑的要求內化到各系課程委員會對該系課程設計的要求上,以利日後執行系內學生學習成效評估。因此,教師在課程設計時,透過系內課程委員會之指導,提升以學生為核心的教學方式,為日後蒐集學習成效資料鋪路,更便利了教務處面對WASC評鑑之各項要求。未來三年,UCLA將進入學習成效資料蒐集的階段。

值得注意的是,UCLA重視的是學程或學系「總體」的學習成效,並非學生「個人」每年的學習成效測量,因此,教授們發展多年的測量計畫,以促進學程整體的進步。

事證的定義

依據WASC建議,事證應具有下列特性:1.完成學程後所得到的核心知識與技能;2.學生表現是由多元評估的方式而得;3.學生表現具有多面性。有效度的事證必須具有代表性、可累積、可管理並能重複分析。

然而,事證分為直接與間接兩種,兩者的差距就在於後者並無法回答學生是否獲得預定的學習成效。因此,直接測量方式可以提供直接事證,最典型的例子就是學生的學習作品,例如書面報告、課程實作(capstone projects)的成品等;間接測量方式提供間接事證,例如問卷調查,僅可提供佐證直接事證的資料,但不能直接代表學生獲得預期的學習成效的程度。有趣的是,教授評分寬鬆過當,分數膨脹(grading inflation)的情形時有所聞,所以學生的考試分數並不被WASC視為學生學習成效的直接事證,故發展並蒐集其他直接事證就顯得必要。

如何蒐集直接證據

蒐集直接事證的方法因各系規模的大小、結構、理念不同而有所差異。根據UCLA學習成效準則之歸納,以成效為主軸的評量(outcome-based assessment)所蒐集的直接事證包含:

1.課程實作的最後作品

大學部的教務處協助各系所進行課程實作的設計。從2009-2010學年開始,所有隸屬於上述課程實作專修學程的學生,必須完成一項課程實作的計畫,而學習成效必須對應學程的總學習目標。學程評量學生的課程實作計畫成果、報告、展演,或其他可以當成學生學習的直接事證。

2.從課程評量中發展出學習歷程檔案

傳統上學生蒐集自己在該課程的學習相關成品,並做成學習歷程檔案資料備查。而UCLA則採由教授蒐集自己的課程歷程檔案資料(program portfolios),針對某個特定的核心能力,蒐集學生們的作品以為佐證。其他則可選定某個(些)科目,將相關的教材,例如作業、考題、課內活動、課外學習等,透過一套事先規劃好的篩選方式(sampling),挑出學生的作品並加以蒐集、評量。

3.標準考試、證照考試、畢業生畢業問卷

美國的教育測驗服務社(Educational Testing Service, ETS)等提供標準測驗,瞭解學生的思辨力或數理能力。GRE或證照考試等也可做為學生學習的直接事證。教授也可發展涵蓋該學程之學習成效指標的標準測驗。例如加州大學爾灣校區(UC-Irvine),就提供經費鼓勵教授建立標準考試題庫,測量學生的學習成效是否達到預期。

上述1至3項事證沒有好壞之別,只要是教授們共同認定最合適、最能掌握的方法就是最好的方法。

學習成效範例

UCLA以學系或學程為單位,蒐集有效的學習事證,並推廣各系建立課程實作專修學程(capstone majors),以利評估學生學習成效,也同時完成蒐集直接事證、完成WASC評鑑標準的任務。學程要申請成為課程實作專修學程,首要之務即訂定學習成效。截至9月筆者進行採訪時,UCLA已有42個授予學位的學程已訂出學習成效。申請資料的其中一項就是填報WASC的教育效度指標一覽表-WASC事證表格(WASC Exhibit – Inventory of Educational Effectiveness Indicators),並由UCLA大學部委員會核可過程(Undergraduate Council Certification Process)給予核可。

表一即是UCLA考慮現況並與WASC溝通後,微調WASC的制式表格而成,可謂真正做到藉由評鑑要求,達到自我提升,摒棄被動符合標準的思維。其他未列入課程實作專修學程者,則屬於「學習歷程檔案學程」(portfolio majors)或傳統考試的系或學程。以音樂學(Musicology)為例,課程實作專修學程所需填具的表格請見表一。

表一 UCLA修訂WASC事證表格7.1-教育效度指標課程實作學程

訂定學生學習成效之要素與範例

從表一分析,完成學程後該具有的學習成效包含了專業知識、技能、態度與價值,以及行為表現等四項要素。語句上可寫成「完成此學程的畢業生會……」,然後接著可以是一系列的學習成效,例如:展現對於文化與社會的瞭解、精確解析文章內涵、運用原理分析實際的問題、運用各種寫作策略(如論證、敘述、使用指南等)使文章更具說服力、口語溝通按照聽眾和目的不同,能清晰且完整表達並具說服力。訂定學程或學系學生的學習成效時,可以把握下列要素:

1.把握該系畢業生最該掌握的能力為何。描述學習成效時,側重學生要能表現出什麼能力,而非老師要教什麼。

2.將重心放在學生應該知道什麼,畢業後能做什麼或成為什麼;但不是學習當下他們可以做到什麼。

3.成效不要過度廣泛或太有針對性。先顧及一般能力,例如批判思考力、寫作能力、研究力,以及學門特有的專業知識、概念、理論以及方法等。

4.使用明確的「動詞」來描述可看得見的學習成果,例如表現、創造、製造等詞彙。

5.避免語意不清的語句,例如「思考敏銳」(think critically)可以更明確寫成「分析並評估論證」(analyze and evaluate arguments)。

6.每個學習成效必須是可以衡量的,如此才能蒐集學習成效的證據。

學生學習成效評估

如何評量學習成效的程度呢?若屬於學習歷程檔案學程,則須先建立課程地圖(相關作法請參閱本期〈如何評估學生學習成效-以加州州立大學長灘分校系所訪視與測量中心之經驗為例〉一文),然後決定評估學習成效的方法。例如針對成效A,授課教師可蒐集化學課Ⅰ、Ⅱ、Ⅲ等三門課的學生試卷,以茲顯示。至於使用課程實作專修學程則依據事先設定的學習成效,闡述內涵再進行評量。兩個基本步驟:一、訂出每個成效的評量標準;二、依照達到程度的不同,可從「優、良、差、亟需改進」等四種程度一一描述其內涵為何。以寫作能力(written communication)為例,可以四項標準進行評量(請見表二):

1.整體性:內容豐富、明確?

2.發展程度:寫作結構是否有效?

3.說服力:學生有效辯護自己看法的程度為何?

4.技術性:寫作的脈絡是否有條理?

表二 寫作評估表格(rubrics)

當然,寫作能力在不同的專業科目,上述四項標準也會跟著改變,而四個程度類別的名稱也可依實際的教學情境做調整。因此,參照規則並做調整才是最佳策略。事實上,評量的標準與內涵也可與學系內教師們達成共識,一起進行設計;課堂上,教授也可與該科的學生一起討論,達成師生之間的共識,讓評量學生學習成效時更能同時得到評估者與受評者的認同。另,若需要打分數,則可在各個面向配予適當的百分比,並依照不同的程度給分即可。

學生學習成效讓教、學重心明確

學生學習成效明確,就容易對學生們的學業成就有通盤性的瞭解。為了評估學習成效,應先將比較抽象的系或學程學習目標轉變成較小、可衡量的單位,方能蒐集直接事證,展現學程的具體學習成果,體現該系的教育效度。學習成效具體化的優點如下:

1.學生一旦清楚預期的核心能力為何,學習將更有重心,更容易投入。

2.核心能力支持「以學習者為中心」的教學活動。而教學過程則更強調學習者學成後的能力,而非僅著重必須將該課程的各個主題講述完畢。

3.一旦將核心能力公告在學校之課程目錄、學校或系所網站上,所有可能入學的學生、家長以及社會大眾都能清楚瞭解該學程之核心價值所在。

4.評量學生核心能力可讓學生更清楚自己在該項的強弱程度。

5.評量學生核心能力也可讓教授瞭解自己的教育效度,與如何改善學程。

值得注意的是,評估學生學習成效並非用來測量教授的教學表現,而在敦促學程整體的改善。因此,執行學習成效評量前,必須與教授們明確溝通,評量是以整體為重,而非針對個人做是非判斷,以免造成教授們反彈,造成以學生學習為核心的課程設計難以推動。成效的結果也可能使課程規劃重新設計,或重新制訂學習成效等。

表三即說明實施學習成效評估計畫與結果運用之連結。其中,「如何運用結果」與前述表一中之結果運用有共通之處。

表三 UCLA評估學生學習成效與評估結果之運用

落實學生學習成效評估 美西四大學經驗可供參考

筆者走訪加州大學爾灣校區、洛杉磯校區、柏克萊校區,以及舊金山州立大學(San Francisco State University)等四校,各校對學生學習成效有不同的詮釋與作法,發展的程度也各不相同。但有幾點值得參考:

1.重視並瞭解學生到底學了什麼、學習經驗是什麼,是高等教育的趨勢。故藉由評估以瞭解並增進學生的知識成長、學習經驗與成就,是大學教育不可避免的要務。與其迴避,更宜積極並策略性的進行瞭解。UCLA即是一最佳例證。

2.校內須有一高層級的行政主管支持並負責學習成效評估的實際運作,同時輔以有實務經驗的專責人員加以配合。高層主管可主導政策,專責人員(如本文中的Lindholm博士)則給予各系實務的建議與諮詢。國內大學也常以教務長為主要推動學習成效評估的高層政策推動者,並配合教師資源中心等類似的單位,提供軟硬體設備與人員協助。

3.設計嚴密、量身訂做、小而美並保持彈性。進行學習成效評估可從簡單、可行、可掌握的小計畫開始執行,先挑選有意願或重點學系開始試辦,每個學系可以依其特色制訂學習成效的方向,待少數學系機制設立完善後,再開始多方推廣。加州柏克萊校區的策略即是「教授主導、學門特有、在地專屬」(faculty driven, discipline specific, locally owned),意即各學系依其學門屬性,只要訂定二至三個學習成效進行小型測試(pilot),以瞭解如何運用現有的資源蒐集資料並進行分析到什麼程度,以及是否能達到運用分析結果改善現有的學程,可說是典型的從小做起、保持彈性。目前該校大學部已有至少90%的學系制定完成學習成效。

4.以獎勵代替個人考評與人事升遷。施行新的評量制度,行政體系需要時間調整,教授需要心理調適,故建議各校宜先檢視現有與學生學習相關的資料,再進一步規劃與調整,無需從零開始、重新摸索,也可降低各方抗拒。以UC-Irvine為例,該校大學部教務長室提供執行學生學習成效獎金供各系申請,獎金可用來辦演講、鼓勵課程設計、辦全系教師戶外研習等活動,不一而足。最終仍在鼓勵分享校內、外成功案例,建立對話與可尋求協助的平台。

最後,實施學生學習成效僅是手段,鼓勵教授參與,達到深層的學習成效(如思辨力、解決問題積極度與能力、活到老學到老的態度、社會參與或公民力等),提升教育水準,對學生有正面與長遠的影響,才是真正的目的。

註1:第一階段為學校自評,第二階段為能力與準備訪視。有關WASC三階段評鑑訪視請參閱《評鑑雙月刊》27期〈美國WASC對學生學習成效評估之經驗與建議〉一文。

◎參考文獻

Lindholm, J. A. (2009). UCLA guidelines for developing and assessing student learning outcomes for undergraduate majors (1sted.). Retrieved October 5, 2010, from http://www.wasc.ucla.edu/eer_endnotes/Learning_Outcomes_Guidelines.pdf

UCLA. (2009). UCLA report for the WASC educational effectiveness review. Retrieved October 5, 2010, from http://www.wasc.ucla.edu/EER_Final.pdf

Lee, C. (2010, July 28). UCLA wins reaccreditation with high remarks. UCLA Today. Retrieved October 5, 2010, from http://today.ucla.edu/portal/ut/ucla-wins-accreditation-with-high-164692.aspx?ncid=10391

Wolff, R. A. (2010). Commission action letter. (註:WASC大學校院認可委員會給予UCLA之正式書面評鑑認可信函) Retreived October 5, 2010, from http://www.wasc.ucla.edu/documents/WASCAccreditationLtr06292010_002.pdf

 列印 |  |  Top |  回首頁

本期目錄
-本期目錄
單元相關文章