財團法人高等教育評鑑中心基金會  

 

初探新版柯氏學習評估模式
文/鍾佩君
  財團法人中國生產力中心人力資本發展組副管理師

在開始談「新版柯氏學習評估模式」(The New World Kirkpatrick Model,簡稱新柯氏)之前,我們先問一個問題:「您如何證明您所實施的學習方案是有效的?」這不只是最常被挑戰的一句話,對於從事教學的老師們來說更是需要思考。成人學習理論相信大家都不陌生,然而,如何確保教學方式或學習方案是有效的,卻往往在證明上少了些力道。

如何證明學習方案有效?

學習評估可以證明所實施的訓練或學習方案是否有效,不僅如此,在評估的過程與結果中,還可以描述學習方案的價值、為了最大化學習方案成效而增加學習遷移、改善學習方案、避免已發生的錯誤、減少未可知的錯誤、更有效運用方案的預算及開銷,以及定義出學習與績效之間的差距等。

說了這麼多,無非就是增加對學習評估的重視。全球耳熟能詳的學習評估模式非常多,從今(2017)年美國培訓雜誌(Training)所舉辦的第17屆卓越人力資本獎(Training Top 125)(註1)中,可以看出得獎者經常使用的學習評估模式,包括:學習投資報酬率(Return on Investment, ROI)、平衡計分卡(Balanced Scorecard, BSC)、六標準差(6σ)與柯氏學習評估模式(Kirkpatrick Model,簡稱柯氏),其中,運用柯氏的「四層級」(Four Level®)(註2)評估學習成效的比例為100%。

而在臺灣,除了大專校院人力資源用書都會提到柯氏之外,自2005年實施人才發展品質管理系統(Taiwan TrainQuali System, TTQS)以來,在評鑑構面也顯而易見看到相關蹤影,由此亦可看出柯氏在全球學習評估領域的普及性。

全球應用最廣泛的學習評估模式

柯氏學習評估模式是Donald L. Kirkpatrick於1954年針對學習到底有沒有效這件事所提出的一套歸納,演變到現在已經成為世界上應用最廣泛的學習評估模式。此一風靡全球近一甲子的Kirkpatrick學習評估模式概念簡要說明如下(如圖一):

●層級一(Level 1)──反應層級(Reactions):學習者對於本次學習反應如何,也就是學習者喜不喜歡這次的學習活動。

●層級二(Level 2)──學習層級(Learning):學習者從本次的學習活動或方案中學到了哪些知識、技能或心態上的轉變。

●層級三(Level 3)──行為層級(Behavior):學習者要如何運用本次學習活動中所學習到的知識、技能或態度,也就是如何將所學轉化成行動並展現出來(學習遷移)。

●層級四(Level 4)──成果層級(Results):本次的學習活動或方案中產生了哪些影響或結果。

以終為始  找出績效需求

歷經近60年的實證,柯氏學習評估模式不斷修正與進步,在2010年美國人才發展協會(Association for Talent Development)的國際年會中進一步提出以終為始的想法,Jim Kirkpatrick(Donald的長子)也正式發表「新柯氏學習評估模式」,如圖二。

過往在談學習方案的設計,最先想到的是找出確切的學習需求,因為老師都希望所設計的學習方案或相關活動能被學生喜歡;但在以終為始概念提出後,新柯氏顯示一個很重要的概念,即所有的學習方案若想看到與績效有所連結,就必須找出「績效需求」(Performance Needs)。

換言之,對於學習領域方面的從業人員(不僅限於學校老師)而言,不能只光看學習者需求,更應注意的是「績效需求」;以研究所碩士班課程為例,我們會期望從研究所學習基本的兩年課程後,畢業時能成為一位在某個領域學理上的專業人士,因此在設計課程時,就應以領域所應學習、發展與必要展現的行為專業來規劃課程。

以下便針對「四層級」評估模式做探討,在往下看每個層級時,不妨先思考三個問題:

1.為什麼這個層級(Level)很重要?

2.目前都使用哪些方法或工具來評估這個層級?

3.對於這個層級,可能會有哪些問題或困難需要克服?

層級四:成果

一般人對於層級四都會產生一種朦朧美,主要是不知如何真正去表達成果。在Donald Kirkpatrick提出學習評估模式後,這60年來學習領域的探討與設計主要著墨在如何展現出層級一(反應層級)與層級二(學習層級),其中包括訓練需求評估等理論,這也是為何我們在設計學習方案時,花很多時間在針對學員的背景做了解,而非針對辦理這場學習方案的真正原因做剖析。

不論在臺灣或其他國家,都有一個很有趣的現象,大部分的人認為:成功是自己努力得來的,而失敗都是因為老師教不好的關係。例如,我們很難說哪位成功人士是因為學校教育所帶來的成就;就算大家這麼說,但心裡也不見得認同。

那麼,到底要如何決定層級四?Jim Kirkpatrick於2010年在美國人才發展協會年會上提出以終為始的觀念時,同時也提出「期望回報」(Returnon Expectation, ROE)的觀點。有別於投資報酬率的強迫計算,我們並不需要自己設計期望,可以從既有的關係人渴望達到的預期成果(Desired Results)「借」過來分析,找出真正屬於學習方案可以解決的指標,作為層級四想看到的成果。

通常這些指標都已經被設定好了,只要稍微修改一下就是很好的預期成果或指標;當然,相關資料一定會有很多,建議大家可從設計小一點的指標開始,比較容易成功,也相對容易持續並獲得支持,再開始往下依序設計層級三、二、一,這樣才能得到較強大的連結關係。

從相關人員的期望到學習需求,最主要目的還是須找出層級四的領先指標(Leading indicators)及預期產出成果(outcomes)。

預期指標是短期的觀察或關鍵行為對於渴望達成預期成果的影響,同時也是檢核點,確保預期結果能真正被產出。

預期產出結果則可分為外部及內部因素來看,外部構面的因素包括:顧客(學生或學生家長)、學校評價與觀感等,內部構面則包括:每個個人(老師)、團隊(系所)、部門(學院)與組織(學校)方面等因素。

層級三:行為

當有了明確的成果,代表對於學習成效的目標有了共識,接著就要看看在層次三可以做出什麼努力。

其實,層級三最主要就是定義出可以影響最終成果的「關鍵行為」(Critical Behavior)。然而,要能真正展現關鍵行為,必須有相關的驅動因子(Required Drivers),包括強化、鼓勵、獎勵與監控等機制的互相配合與有效運作(如圖三),才能成功。

因此,層級三也可稱為「需要努力的層級」(Level of Effort,如圖四)。設計層級三時,除了考量學習者的關鍵行為是否能確實展現,也就是如何促成學習遷移(或稱訓練移轉),以期能強烈連結或影響到層級四所要展現的學習成果之外,和相關利益關係人的溝通協調亦不可或缺。

也就是說,如果您想要讓自己的學習方案能夠被大家承認是有效的,就必須讓「大家」(所有利益關係人)一起來努力。

至於什麼是關鍵行為呢?指的是少數且關鍵,並可以讓學生持續運用或展現個人成就(績效)以達成目標的行為,這也是在行動方案中所應設計的主要內容。

我們可以說,關鍵行為必須是能展現出成效的行為,因此要很聚焦、可以觀察、可以被衡量,並且能夠明確指出預期會有哪些行為展現,寫法有點像目標管理的原則。

當與利益關係人溝通協調、確認相關的關鍵行為之後,要確保能真正有效果,就須有相關或應該有的驅動因子配合。換言之,相關利益關係人(學生、老師、家長、系所團隊等)對於學習成效,不該只是坐著等結果,而是應有相關的機制(強化、監控、鼓勵與獎酬)影響關鍵行為的實踐,進而產生學習成效。

至於驅動因子或相關機制的設計,其實與馬斯洛需求理論相符合,因為生活中處處都與人性有關,在組織行為中,很多時候看似不合理或是不理解的情況,其實都是人性因素的影響,故我們可以做的是:找出相關原因,歸納後設計出對應的機制以滿足或消除它。表一是Kirkpatrick針對驅動因子所做的一些整理與建議,可提供教師在設計學習方案或活動時參考。

層級二:學習

層級二主要是確認學習目的,但必須依據層級四與層級三而來,才能確實定義出希望學習者完成後要產生的關鍵行為是什麼。

回到上述層級四的討論,對於「學習目的」需要思考的是,利益關係人想要看到的「結果」是什麼,因此學習層級所應該具備的概念簡述如次:

1.知識:「我知道……」;想讓學習者知道什麼必須表達清楚,因為知識是學習活動的基礎。

2.技能:「我現在馬上就能運用它/操作它/做出……」;讓學習者在上完課程之後,對於學習的技能目標能確實做到。

3.態度:「我相信這次的學習活動對於未來工作或生活是很有幫助的……」;讓學習者相信所學能被使用,才能搭起往層級三的橋梁。

4.信心:「我想我能運用本次的○○○學習內容……」;當學習者有信心能有效使用,它才有被使用的可能,因此,這部分應在課堂中,透過練習展現會運用的信心。

5.承諾:「我將會在○○○中運用它……」;當學習者願意承諾並提出行動方案,才有機會獲得支持,並進而展現出關鍵行為而達到期望的成果。

這裡有一個很重要的觀念,在選擇評估方法時,都應先思考背後的用意或目的是什麼;如果採取的評估方法是測驗(這也是老師最常使用的期中/期末評量),必須要有這個認知:「沒有前測,後測是沒有任何意義的;單就選擇測驗這項評估方法,應該要具備特別的目的,設計時不必拘泥於非得使用筆試測驗不可。」因為我們無法確認學生是否是因為本次的學習活動而得到測驗成果,又或者學生本身早就具備了相關的知識或技能。

層級一:反應

原柯氏學習評估模式中在層級一的評估就很著重學生滿意度,在新柯氏中進一步被重新省思調整,層級一不再單指學生滿意度,還應包括學生在學習活動過程中的參與程度,以及學習方案對於學生在未來可以運用的相關程度。既從層級四倒過來設計整個學習活動方案,學習活動也必須與實際生活或未來工作有高度相關,才能促使學習者在回到現實生活或未來工作時能夠運用(展現層級三),進而看到成果(達成層級四)。

因此,層級一所應具備的概念簡述如次:

1.學生滿意度:學生喜不喜歡這堂課。

2.學生參與度:學生對於課堂的參與及投入的程度;這部分應該在教學設計中多一些努力,設計相關的教學方式甚至是教學活動,讓學生在不偏離主題的情況下,能夠有最大的參與及投入,也就是以學生為中心的教學設計;而評估方式包括在過程中可透過老師觀察、學習者互相觀察,以及有節奏的確認(可運用卡片或相關道具,於課中隔一段落就詢問學員相關性)等。

3.課程關聯性:這次的學習活動或方案對於現實生活或未來工作的關聯程度。此也是為了讓後續的層級三能夠有明確的行動計畫(層級二)來展現。

也就是說,在層級一最常實施的課後滿意度調查問卷,應以學生為中心來設計,讓學生在填寫問卷時能確認學習的成果。

學習評估如登山  先有目標才能規劃實踐

從層級四開始往下探討到層級一,這過程很像登山。登山前要先了解登山的相關資訊,知道自己要先登哪一座山(層級四),初學者從小山開始(也就是選擇小一點的指標開始),在準備登山(層級三)之前,應先學習登山的基本知識、技能與態度後,感覺有信心可以去登山了(層級二),接著一步一步踏上登山的旅途,目標是在某一座山頂插上自己的旗幟(層級四),路途中的每一面小旗幟都是小的學習成效指標,從山下開始插旗,過程中應準備哪些工具、如何穿著、了解交通或天氣資訊等,都應先做好功課(層級一),目的是希望自己能達成目標,到達山頂則是學校或組織希望我們最終能夠達成的成果。

◎附註

1.美國培訓雜誌所舉辦之Training Top 125為評鑑卓越人力資本公司的唯一報告,本文數據為培訓雜誌於2017年1月31日所公開發表之文章〈2017培訓頂尖125名組織排名〉(Training Magazine Ranks 2017 Training Top 125 Organizations),網址為https://trainingmag.com/training-magazine-ranks-2017-training-top-125-organizations

2.「四層級」(Four Level®)已被柯氏公司(Kirkpatrick Partners, LLC)所註冊,專指柯氏學習評估模式。

◎後記

感謝財團法人中國生產力中心對於學習的鼓勵與支持,讓筆者有幸參與由柯氏公司合作開辦的認證課程,文中所闡述之觀點皆是在該認證課程當中與Jim Kirkpatrick及Wendy Kirkpatrick討論後之觀點與心得,希望對於在學習領域中努力耕耘的夥伴們有所助益。

◎參考資料

Kirkpatrick, J. D., & Kirkpatrick, W. K. (2010). ROE’s Rising Star. Retrieved from https://www.td.org/Publications/Magazines/TD/TD-Archive/2010/08/ROES-Rising-Star

Kirkpatrick, J. D., & Kirkpatrick, W. K. (2016). Kirkpatrick four levels® evaluation certificate program. Orlando, FL: Training 2017 Conference & Expo Publishers.

 列印 |  轉寄好友 |  Top |  回首頁

本期目錄
-本期目錄
單元相關文章