財團法人高等教育評鑑中心基金會  

 

評鑑未來趨勢之探究
文/林素卿
  國立彰化師範大學教育研究所教授
 /顧毓群
  國立彰化師範大學運動學系副教授
 /莊雅然
  彰化縣立彰興國民中學教師

評鑑是評鑑者搜集與分析評鑑對象(subject)有關的資料,作成價值或優缺點的判斷(黃政傑,1993)。Scriven(2013)指出,評鑑的概念早在350多萬年前就已嵌入人類的大腦裡,深深影響人們的思考方式與行為,是人類極為重要的求生存技能。

美國評鑑發展史

回顧美國評鑑發展的歷史,在1950年代末到1960年代初期,評鑑工作由少數大學和機構中的社會科學研究者所主導,主要聚焦於教育評量(educational assessment)。到了1960年代中期,由於聯邦政府投入大量的資源在對抗貧窮和大社會計畫(The War on Poverty and the Great Society programs)上,幫助弱勢兒童學習,並將評鑑條款列入「初等及中等教育法」(Elementary and Secondary Education Act, ESEA)中,方案評鑑的要求成為聯邦撥款的必備條件。

1970年代中期,美國出現了兩個專業評鑑協會:「評鑑網絡」(the Evaluation Network)與「評鑑研究學會」(the Evaluation Research Society),此二組織於1985年合併成為美國評鑑協會(American Evaluation Association, AEA)。整個1970年代到1980年代,評鑑日益關切實驗和準實驗設計的運用及結果的效用。但雷根總統任內大量削減社會方案及評鑑預算,取消對地方機構評鑑的要求,聯邦政府亦較少投入評鑑,基此,許多學區、大學、私人公司、國家教育部門紛紛成立組織內部的評鑑單位。

1990年代,美國興起強調政府方案的績效責任與組織效能運動。評鑑再度被政府部門和私人機構頻繁運用,希望透過評鑑提高方案的效能、增進組織學習和形成分配決策的依據。

全球性評鑑的時代

2000年至今,全球對於參與式(participatory)、共同協作(collaborative)與學習導向(learning oriented)的評鑑興趣持續增加,各國紛紛成立全國性的評鑑協會,例如澳洲評鑑學會(Australasian Evaluation Society)、非洲評鑑協會(African Evaluation Association)、加拿大評鑑學會(Canadian Evaluation Society)、歐洲評鑑學會(European Evaluation Society)、英國評鑑學會(United Kingdom Evaluation Society)、馬來西亞評鑑學會(Malaysian Evaluation Society)、中美洲評鑑協會(Central American Evaluation Association)和日本評鑑學會(Japan Evaluation Society)等(Preskill & Russ-Eft, 2005)。

目前全球國家及地區性評鑑協會持續增加中。然而,國家層級的評鑑不足以解決全球性的問題,包括:氣候變遷、全球經濟相互依存與動蕩、致命性傳染病與超級病毒的進化、垂死的海洋、全球性恐怖主義、國際販毒集團、全球人口販運、非法軍火交易、難民潮、糧食短缺,以及遽增的種族滅絕事件(species extinction)等。因此,2003年成立的「國際評鑑合作組織」(International Organization for Cooperation in Evaluation),希望以跨文化評鑑為基礎,將全球系統列為評鑑對象,全球性評鑑的未來走向備受關注(Patton,2011)。

再者,全球已經進入迅速變化的年代,隨著社會環境異動性的增加,科技運用的普遍化,數位基礎建設的激增,許多組織部門改變的步伐加劇,也改變以往部門間的互動模式,更意識到傳統的模式已經無法有效處理問題,紛紛尋求新的解決途徑,而這些途徑常常是屬於實驗性質的方法或模式,需要評鑑介入以了解其成效。但評鑑的取徑與方法也必須有所調整,才能提供適切、可靠及有用的回饋給各類型的利害關係人(Gopalakrishnam, Preskill, & Lu, 2014)。

評鑑的典範轉移與未來趨勢

組織的創新、互動規則改變及數位基礎建設激增,這些趨勢促成下一代評鑑創新需求。本質上,評鑑的主旨在於透過改善方案、政策和社會條件,協助人們建構一個更美好的社會,為人類全體的福祉作出有意義的貢獻(Shaw, Green, & Mark 2006)。但過去幾十年來,越來越多人意識到評鑑對於組織中的個別成員和整個組織,常有非預期的負面影響,甚至超越預期中的正面影響(Lund, 2011)。當評鑑的消極、非預期與適得其反的結果,經常遮蔽了好的意圖時,組織和機構就需要跳脫以往的思考框架,發展新的評鑑方式和途徑。Lund(2011)認為第四代評鑑之方法雖然周全但非常耗時,很難適用於今日生活步調緊湊的工作情境,因而提出第五代評鑑的建議,亦即從建構主義轉向社會建構主義的思維。

Scriven(2013)提出評鑑的典範轉移,早期的評鑑仍屬知覺性而非推論性的,因而與科學(哲學)家所認定的「價值中立信條」(the doctrine of value-free science)相牴觸,因此,評鑑領域的學者試圖爭取科學界的認同,產生了第一次評鑑典範的轉移(paradigm shift),亦即遵守價值中立的信條。直到20世紀中期,有些評鑑學者認為評鑑實非價值中立,而是價值負載(value loaded)的科學,構成了第二次典範轉移。第三次評鑑典範轉移則是將評鑑轉移到「領頭的學科」(alpha discipline)的地位,以評鑑是否符合評鑑標準(standards of evaluation)的問題,取代了評鑑是否符合科學標準(standards of science)的問題。

第四次典範轉移是評鑑應為所有應用性學科在面對問題時,具體展現最有效的解決途徑;也由於這個轉移,從「卑賤的地位」(untouchable status) 改變為「範例的地位」(exemplar status)。第五次評鑑典範的轉移則將倫理價值視為首要價值(ethical values are the alpha values)。基於上述的背景脈絡,本文從全球化問題、組織需求與創新、數位化建設、社會建構主義的思維、評鑑典範轉移等方面,探討評鑑未來的趨勢。

評鑑未來趨勢包括聚焦於系統性的評鑑、傾向於較短週期及更及時的回饋評鑑、應用數位化方法蒐集與分析資料、共享測量與分享學習的責任、強調跨文化的理解及推動全球性評鑑、強調專業能力認證及文化素養,以及重視倫理價值等面向,逐一說明如下。

趨勢一:聚焦於系統化的評鑑

Patton(2013)指出,方案實施的成效深受其所屬大環境脈絡之影響,因此,未來評鑑關注的焦點必須超越單一方案的評鑑,而朝向系統化的評鑑。系統化的評鑑乃基於系統性思維(systems thinking)和複雜性的概念(complexity concepts)。系統性思維意指開放性、多元觀點、多層次關係的思考;複雜性概念則包括非線性、突發性、動態系統、適應性、不確定性及共同發展的過程(co-evolutionary process)(Patton, 2011)。

當我們對大多數方案實施的複雜環境有更多理解時,即能體認到系統對其各構成部分之影響。Gopalakrishnan、Preskill和Lu(2014)指出,假如評鑑的目標是改變系統功能,而不只尋找結果,採用系統化評鑑可以有更寬廣的視野,思考組織的長遠發展。

趨勢二:傾向短週期、更及時的回饋評鑑

Patton(2013)指出,未來的評鑑將傾向於較短週期及更及時的回饋(real-time feedback)評鑑,而非以年度報告的方式,特別是當組織的評鑑聚焦於學習或進行社會革新實驗時,則非常適合實施較短及更頻繁回饋方式的評鑑。因為較短的回饋循環有助於促進即時的學習,是促進改變的關鍵(Gopalakrishnan, Preskill, & Lu, 2014)。

評鑑回饋的時機應盡可能是即時性的,在最短的時間內將所蒐集的資料與預備採取的行動做緊密的連結(Patton, 2013)。

趨勢三:應用數位化方法蒐集分析資料

科技發展快速及數位化建設日益完備,已經創造出驚人的資料數量,專家們稱之為「大數據」(Big Data),含跨所有來自感測器蒐集的資訊。大數據具有3V的特徵,亦即數量龐大(sheer volume)、更多樣化(greater variety)及增加速度(increased velocity)。

大數據為未來評鑑資料蒐集與分析帶來許多便利性,除了採用諸如調查研究及訪談等傳統評鑑方法之外,數位化資料蒐集方法,如行動電話、電子郵件、網路分析,以及光電管光纖感應器的數位科技等,使評鑑能達到更即時的回饋、更多元種類所生成的資料、與利害關係人共享測量平台等。再者,未來評鑑將可以應用高度精密視訊化技術、繪圖軟體工具及訊息圖表等工具,分析資料及呈現報告(Gopalakrishnan, Preskill, & Lu, 2014)。

趨勢四:共享測量與分享學習責任

共享測量是指一群組織協同決定結果及指標,結合科技平台,分享資料及彼此相互學習。共享的測量系統具有建立共同理解、減少冗語贅述、確認落差、增加透明度、績效責任等潛能(Kramer, Parkhurst, & Vaidyanathan, 2009)。共享測量系統顯現出許多未來評鑑的特徵,最明顯的就是分享跨越組織間的學習責任,各部門均需投入時間與資源於分享測量所需之基礎建設,以促進全方位的網路學習與成長(Gopalakrishnan, Preskill, & Lu, 2014)。

Lund(2011)則從社會建構主義的觀點指出,未來評鑑將是強調專業發展社群的價值觀,涉及適度的合作關係,而非個人或私人關係。社群不僅一起承擔訊息搜集、審慎思考評鑑如何影響組織社會互動的責任,而且更強調組織間的溝通、組織角色的分配和關係。組織成員如果對現況有不同的理解時,必須開放心態相互欣賞,接納創始的意見,進一步探究不同思考的脈絡及其關聯性,創造改變和發展的機會。

趨勢五:強調跨文化理解及全球性評鑑

Patton(2016)指出,文化有時是明確與外顯地,但常常是內隱地嵌入人類的感知、思考、行動及互動模式之中。任何類型的評鑑均可以從文化的角度或意義上界定其價值、觀點以及實務架構。文化與背景脈絡的敏感性(sensitivity)是相互交織與相互增強的,未來的評鑑必須尊重文化的多元性,重視不同文化背景脈絡,增進跨文化的對話(cross-cultural dialogue),作為推動全球性評鑑的基礎。

Patton(2016)認為,過去15年當中,國際性評鑑已呈幾何級數成長,2015年被命名為國際評鑑年(International Year of Evaluation),顯示出跨文化的理解越來越重要。國際性的(international)意指多樣的國家與文化。國際性評鑑曾經是以國家(nation-state)為基本聚焦與分析單位,以評鑑一個計畫、方案、政策或成果為首要評鑑對象。然而,國家層級的評鑑已經無法解決全球性的問題,而解決之道就是將全球系統作為評鑑對象,以及發展評鑑者執行或實施跨文化全球系統之變化的評鑑能力。

趨勢六:強調專業能力認證及文化素養

Patton(2013)指出,高品質專業評鑑能力的建立是未來評鑑發展最重要的趨勢之一。評鑑者需要具備基本素養,不僅包括方法論的知識,也包括人際互動的技能、情緒智慧及反思實務的能力。許多團體致力於評鑑人員基本技能之探究,例如加拿大評鑑學會的資格認證倡議(credentialing initiative)(Canadian Evaluation Society, 2011)已形成一種重要的方向,評鑑發展能力團體(Evaluation Development Capacity Group)亦致力於能力的建置(Russon & Russon, 2011)。

再者,因應全球性評鑑,在過去十幾年中,確認與發展評鑑者的全球競合力已成為評鑑專業發展的主要驅動力(Patton, 2016)。King、Stevahn及Minnema(2001)提出了評鑑者基本素養架構(essential competencies framework),包括:專業實務、系統性探究、情境分析、計畫管理(project management)、人際關係及反思實務的能力。AEA在2011年通過評鑑的文化素養,包括:全球視野、世界系統的知識、全球系統評鑑的探究技能、跨文化的全球系統評鑑(American Evaluation Association, 2011)。因此,強調專業能力認證及文化素養是未來評鑑的趨勢之一。

趨勢七:將倫理價值視為首要價值

Scriven(2013)認為,評鑑的第五次典範轉移是將倫理價值視為首要價值。所謂的「倫理」(ethics)是指基於所有人類都有平等權利原則的倫理系統。加拿大評鑑學會和美國評鑑協會於2005年在加拿大多倫多(Toronto)共同舉辦國際研討會,於會議中首次頒發「向權力當局或上級說實話獎」(President’s Prize for Speaking Truth to Power)給加拿大陸軍中將Roméo Dallaire,表彰他在1994年試圖阻止盧安達種族滅絕事件的英勇事蹟。當年他帶領一支小規模的聯合國維持和平部隊(United Nations Peacekeeping Force)駐防盧安達,每天填寫有關情況不斷惡化的報告,而這些內容基本上是為世界各國所忽略的。

加拿大與美國的評鑑組織於國際會議中頒發「向權力當局或上級說實話獎」的表現形式,確認了評鑑應該勇於向權力當局或上級說實話之全球責任(Patton, 2013)。這個獎項象徵著評鑑者所能要求扮演的最重要角色是超越科技的能力及方法嚴謹性,勇於說實話,發揮專業倫理的角色。

藉由評鑑解決問題  謀求人類福祉

「評鑑」一詞與「教育」同樣是事實先於專有語彙的出現。評鑑的生成與發展,由人類求生存過程的生活情勢判斷、行動依據及評估行動的有效性,進而累積失敗之教訓與成功的經驗,逐漸發展為具有科學方法的專業領域。

評鑑從第四代評鑑邁向第五代評鑑,隨著世界潮流的脈動,評鑑演進的步伐也未曾停歇。身處這樣一個瞬息萬變、百家爭鳴、訊息充斥的時代,有太多我們不得不面對的問題,也多了許多因科技與資訊透明化帶來的助力,及隨之而來的契機。透過評鑑的應用與回饋,雖然我們仍然無法準確預言未來世界的改變,但是在集結更多跨域人才的力量,包括政府、學術界、非政府組織、公民社群等來自全球各地的團隊智慧,無疑的使評鑑成為有助於謀求人類福祉的鷹架與橋梁。而藉由科技資訊的輔助,評鑑的深度與廣度,則呈現更無拘無束的多維度面向,以符應各式各樣的未來需求。

期待透過全球各地評鑑組織的連結與努力、評鑑研究的持續進行、評鑑的實踐與後設評鑑的反饋,促使人們能夠藉由評鑑解決現況問題,掌握啟動未來的關鍵。

◎參考文獻

黃政傑(1993),課程評鑑。臺北:師大書苑。

American Evaluation Association. (2011). Statement on cultural competence in evaluation. Retrieved from http://www.eval.org/ccstatement

Canadian Evaluation Society. (2011). Professional designations program applicant guide. Retrieved from https://evaluationcanada.ca/txt/5_pdp_applicant_guide.pdf

Gopalakrishnan, S., Preskill, H., & Lu, S. (2014). Next generation evaluation: Embracing, complexity, and change: A learning brief. Stanford, CA: Stanford Social Innovation Review. Retrieved from http://www.fsg.org/publications/next-generation-evaluation

King, J. A., Stevahn, L., & Minnema, J. (2001). Toward a taxonomy of essential evaluator competencies. American Journal of Evaluation, 22(2), 229-247.

Kramer, M., Parkhurst, M., & Vaidyanathan, L. (2009). Breakthroughs in shared measurement and social impact. Retrieved from https://www.fsg.org/publications/breakthroughs-shared-measurement

Lund, G. E. (2011). Fifth-generation evaluation. Retrieved from http://www.haslebo-partnere.dk/dyn/files/normal_items/427-file/Fifth-Generation%20Evaluation%20by%20Gro%20Emmertsen%20Lund.pdf

Patton, M. Q. (2011). Developmental evaluation: Applying complexity concepts to enhance innovation and use. New York, NY: The Guilford Press.

Patton, M. Q. (2013). The future of evaluation in society: Top ten trends plus one. In S. I. Donaldson (Ed.), The future of evaluation in society: A tribute to Michael Scriven (pp.45-62). Charlotte, NC: Information Age Publishing.

Patton, M. Q. (2016). A transcultural global system perspective: In search of blue marble evaluators. Canadian Journal of Program Evaluation, 30(3), 374-390.

Preskill, H., & Russ-Eft, D. F. (2005). Participatory evaluation essentials: History of evaluation. Retrieved from http://www.evaluativethinking.org/docs/SEC_Session1/HistoryofEvaluation.pdf

Russon, K., & Russon, C. (2011). Evaluation capacity development group: Toolkit. Retrieved from http://www.ecdg.net/wp-content/uploads/2011/12/ECDG-Toolkit.pdf

Scriven, M. (2013). The foundation and future of evaluation. In S. I. Donaldson (Ed.), The future of evaluation in society: A tribute to Michael Scriven (pp.11-44). Charlotte, NC: Information Age Publishing.

Shaw, I., Green, J. C., & Mark, M. (2006). The sage handbook of evaluation. Newbury Park, CA: Sage Publications.

 列印 |  轉寄好友 |  Top |  回首頁

本期目錄
-本期目錄