財團法人高等教育評鑑中心基金會  

 

發展性評鑑初探
文/林素卿
  國立彰化師範大學教育研究所教授
 /顧毓群
  國立彰化師範大學運動學系副教授
 /莊雅然
  彰化縣立彰興國民中學教師

近年來,隨著科技運用的普遍化,全球已經進入變化迅速的年代,人類生活環境變得更具變化性、流動性和複雜性。許多社會組織部門已意識到傳統的模式已經無法有效處理問題,因而紛紛尋求新的解決途徑,提出各類的創新或改革方案,希望促使組織能適應相互關聯且快速變遷之環境,朝更好的方向發展。

發展性評鑑的緣起

然而,創始方案(initiative)、創新方案或改革方案(以下統稱創始方案)通常不是遵循著線性的路徑改變,而是如同坐雲霄飛車般,沿著一連串的動態互動、非預期的分歧、社會事件的引爆點,以及群體動力學的改變,起起落落(Patton, 2016)。換言之,創始方案在發展的過程中,具有高度的創新性、不可預測性、不確定性、動盪性、突發性及快速變化性,方案發展者必須藉由方案評鑑的過程,隨時掌握方案的狀況,因應不斷變化的情況調整方案。然而,傳統方案評鑑的取徑或模式,因其過度強調控制、預測、線性邏輯模式(linear logic model)、明確的步驟和順序、預期結果的測量等,故已無法適用於創始方案發展過程的特性,發揮其評鑑的功能(McKegg, Wehipeihana, Becroft, & Gill, 2016; Patton, 2011; Walton, 2014)。基此,Michael Quinn Patton在90年代中期提出發展性評鑑(developmental evaluation, DE)的概念,並於2011年發表《發展性評鑑:應用複雜性概念強化創新和應用》(Developmental Evaluation: Applying Complexity Concepts to Enhance Innovation and Use)一書,DE的概念開始受到評鑑界的關注。因為DE不僅能符合當代社會創始方案所需的數據化潮流、多元複合利害關係人與即時的回饋等特性,對於日益複雜的教育改革與創新方案,亦可發揮有效的評鑑功能(Rey, Tremblay, & Brousselle, 2014)。

評鑑界眾所皆知,Patton是20世紀70年代評鑑專業的創始人之一,擔任過美國評鑑協會(the American Evaluation Association)的主席,並以《以實際利用為焦點的評鑑》(Utilization Focused Evaluation)和《質性研究與評鑑方法》(Qualitative Research and Evaluative Methods)等著作聞名於國際。Patton認為傳統的主導評鑑模式(the dominant evaluation model),是一個相當機械性的、傾向易於管理的合約取向的評鑑(contract approach to evaluation)。主導的評鑑模式是以Michael Scriven所提出的形成性(formative)和總結性(summative)評鑑為核心。根據Scriven的見解,形成性評鑑有助於方案的發展,總結性評鑑則可以用來評定方案的價值(Stufflebeam & Shinkfield, 2007)。亦即,形成性評鑑的目的是為了做好總結性評鑑的準備工作。Patton(2011)認為方案實施初期可能會遭遇許多的問題,需要時間來加以解決,確定如何才能將想法付諸實踐,因此穩定、形成及改善模式的時間是形成性評鑑的重點。等到「模式」準備好了,才應該進行總結性評鑑。Patton直指許多涉及總結性評鑑的研究文獻中,總是存在著總結性評鑑只聚焦於方案實施後的結果,而形成性評鑑並沒有發揮「即時回饋」作用的混淆現象,與Scriven的原意大相逕庭。因此Patton(2011)所倡導的DE並不排斥形成性與總結性評鑑的方法,但是目的截然不同,傳統的形成性和總結性評鑑模式偏重於改進或評估既定的創始方案(an established initiative),而DE則著重透過形成性與總結性評鑑蒐集資訊,產生即時的學習與促進發展,並且在評鑑結束之前,即時進行改善和過程評估(Dozois, Langlois, & Blanchet-Cohen,2010)。Patton認為透過DE能夠協助個人與組織實踐重要的變革,但DE的成功與否,則取決於知識和探究中所提供的線索,對發展的過程產生了多大貢獻(Lam, 2012)。

再者,Patton(2011)認為傳統的評鑑設計總存在著「找出一個穩定、一致的標準規範(prototype)」的思維,因此造成了在模式上偏重於評鑑標準的規範,及可以記錄的或可審計的(journalisable it)評鑑取徑,這種嚴格的、機械式的、狹隘的監測與評鑑(monitoring and evaluation)過程,強調以績效責任制為導向的評鑑方法(accountability focused evaluation),實際上並不能滿足創始方案發展者的需求,也是推動創始方案時最大的障礙。因此,Patton提出DE模式取代傳統直線與預測邏輯之運作方式,強調不斷地調整與適應複雜的非線性動力,將評鑑的嚴謹性與發展所需的靈活性和想像力結合起來,使其能對高度不確定性、創新性、突發性、複雜性之創始方案之創作過程,進行批判性思考,並且強調以回饋為導向,提供方案創始者即時的學習及洞察力改善方案。近年來,越來越多的評鑑學者應用DE的理念進行創始方案的評鑑,DE已被肯定為一種與社會革新有關,但卻不同於傳統評鑑的取徑(McDonald, 2016)。

發展性評鑑的利基與特性

DE是一種新興的評鑑取徑,適用於情境的敏感性(situational sensitivity)與無法預測之高度不確定性的情境(situations of high uncertainty),其利基在於能在複雜適應系統(complex adaptive systems)中,提供方案改革者及時的回饋(timely feedback),調整創始方案以適應情境的變化(Patton, 2011)。所謂「複雜適應系統」係指該系統具有非線性(non-linearity)、突發性(emergence)、動態系統性(dynamical systems)、適應性(adaptiveness)、不確定性(uncertainty)與共同發展的過程(coevolutionary processes)等特性。DE模式之所以能適用於複雜性系統,是因為它具有以下特色(Gamble,2008; Patton, 2008; Patton, 2011):

1.DE主要焦點於適應性學習(adaptive learning),而非確認績效責任(accountability)。

2.DE目的在提供即時的回饋(real-time feedback),促進團隊成員不斷地學習。

3.DE評鑑者是方案研發團隊的一員,其角色遠超出資料的蒐集和分析的範圍,其主要職責是積極介入形塑方案發展的歷程,提供發展團隊充分的數據及有助於決策者的資訊,並追蹤方案的影響和結果。

4.在方案發展過程中,DE關注方案要素間之系統動態關係、成員間激盪出的革新策略和想法等之記錄與追蹤。

5.DE的評鑑過程具備充分的彈性,能隨著方案發展者對情況理解的程度,和新措施或新創方案目標的出現,不斷發展新的測量與監測機制,以突顯評鑑者與社會革新者長期性、持續性的適應;在有意圖的改變和發展過程中,密切合作地構思、設計和測試新的方法。

6.DE的核心評鑑技巧包含了闡明創始方案理論的改變、詢問評鑑的問題、提供關於新興成果的即時回饋資訊,幫助研發團隊不斷學習並調整創始方案。

▲評鑑委員進行課堂實地訪評聽取授課教師解說。(陳秉宏/攝)

發展性評鑑實施之基本原則

DE實施之基本原則,包括發展性、嚴謹性、應用導向、改革利基、複雜性觀點、系統思維、共同創造、及時回饋等原則,說明如下:

一、發展性原則(developmental principle)

DE本身是隨著改革的階段不斷發展調整的。藉由數據蒐集和回報,持續且即時的知會決策者,使決策者更清楚未來的焦點及創始方案調整的方向(Patton, 2011; 2016)。換言之,DE迥異於傳統評鑑遵循線性蒐集資料和報告的規劃過程,而是根據所獲得的質量化數據,進行不定期、短期的報告,持續不斷地知會決策者方案的進程,以滿足方案發展團隊的需求。

二、評鑑嚴謹性原則(evaluation rigor principle)

DE堅持評鑑必須遵守嚴謹性原則,在整個評鑑過程需小心謹慎考量評鑑架構、問題、假設、資料蒐集和分析的方法、報告的呈現和解釋等問題(Patton, 2016)。DE評鑑者必須能夠提出促進方案發展團隊討論及推進思維的問題,這些問題可能是聚焦於描繪問題本質、辨析創始方案需要調整的方向、方案潛在的價值與假設、方案成功的規準等面向(Lam, 2012 ; Patton, 2011)。因為創始方案之團隊成員可能來自不同的背景,具有不同的需求及價值觀,評鑑者必須協助方案團隊建構出共同的規準,並建立能幫助創始方案發展細節的架構,同時運用各種提問方式,檢視其過程設計、想法是否適切,能否符應創始方案的提案內容。

三、應用導向原則(utilization-focused principle)

DE延續應用導向評鑑的精神,重視評鑑結果的實用性與應用性。相較於傳統的評鑑取徑,DE的評鑑目的以支持改革的發展、重視適應和學習,取代績效責任或總結性判斷的目的(Patton, 2016)。DE評鑑者透過摘記方案發展過程中所討論的內容與步驟,深入理解並追蹤發展中快速變化的過程並掌握當前的狀況。藉由方案發展過程文件的記載,不但能使發展過程更加透明化,亦能支持團隊成員落實任務責任制,為後續的方案介入措施提供寶貴的訊息和可應用的資源(Gamble, 2008)。

四、改革利基原則(innovation niche principle)

前已提及,DE乃是因應創始方案所處之複雜性環境脈絡的需求而生,其對於改革的承諾是明確且真實的,在評鑑過程中,DE評鑑者竭盡所能的協助改革者或方案創始者,處理棘手的社會問題、各類型的挑戰、並對於突發事件作出有效的回應,使創始方案能適應社會改革的發展。因此,DE的利基在於闡明評鑑如何涉及改革和適應改變的過程和結果(Patton, 2016)。

五、複雜性觀點原則(complexity perspective)

複雜性觀點原則乃是從複雜性的角度,理解和解讀發展的意義,據此進行評鑑。換言之,此原則意味著評鑑者必須對於不確定性、動蕩性、非線性之交互作用、動態模組的性質和程度具備敏感度。DE的評鑑設計、過程及評鑑結果都能回應這些複雜性特徵,對事件和狀況的出現及影響、背景脈絡適應具高度的敏感度(Patton, 2016)。

六、系統思維原則(systems thinking principle)

DE的評鑑者通盤考量社會大系統及次級系統間整體關聯,及關注改革和評鑑實施的環境脈絡及訊息。DE之評鑑設計包括評鑑資料的蒐集、評鑑結果的呈現及應用、方案的修正等具體且系統性說明和思考。在創始方案發展的初始階段,DE的評鑑者可以藉由協助該組織團體決定可訴諸行動的重點目標,明確地表達管理或指導的原則,以及詳細地說明系統動態學(system dynamics),以發揮系統思維的關鍵作用,促使方案順利發展和付諸實施(Dozois, Langlois, & Blanchet-Cohen, 2010)。

七、共同創造原則(correlation principle)

Patton(2008)強調DE之評鑑者與從事改革者或創始方案發展者之間,應該是長期的夥伴關係(partnering relationships)。在DE過程中,不論是評鑑問題的探究、蒐集訊息、提供回饋意見、支持發展決策,以配合新興的或突發的路徑(the emergent path)、修正評鑑設計等,評鑑者和團隊的成員都必須積極投入,彼此溝通、學習、適應調整、協同合作,使共同創造成為評鑑過程的一部分。

八、 即時回饋原則(timely feedback principle)

DE強調對於方案狀況的即時回饋,不應該侷限於某些預定的時間內,例如,在計畫案實施的季度或期中及結束時才提出回饋意見。相反的,只要新的需求、新的發現一出現或者對方案某些部分有更深刻的理解或新的想法時,評鑑者就應該提出即時回饋,供決策者或方案發展者參考,作出有利於方案發展的判斷(Patton, 2016)。

發展性評鑑在教育方案上之運用

相較於其他評鑑的取徑,DE評鑑不僅是國內方案評鑑領域較為陌生且未實際運用,即使是在國外也被視為新興的取徑。McDonald(2016)曾提出了幾個採用DE前值得思考的關鍵問題,包括:方案團隊及成員是否理解DE ?方案團隊及成員是否願意抱持開放的態度,重複發展的歷程,運用評鑑數據,根據需求進行的學習和調整原始方案?彼此是否有信心建立一個強而有力的夥伴信任關係?評鑑者是否樂於隨時提供數據,並願意改變評鑑方法以回應新出現的問題?評鑑者是否對於待處理的議題、關鍵利害關係人的利益、及系統不同要素如何交互作用等,已有深刻的理解?是否考慮過要求特定學科知識的程度?是否同意DE評鑑者擔任的角色和責任?McDonald認為對上述問題縝密地提問思考之後,當方案或計畫團隊成員和評鑑者都有意願,且能夠承諾使用DE的技能來支持發展過程時,DE方能夠協助減少發展創始方案可能產生的不確定性,並處理複雜的突發狀況。

再者,從分析國外DE的個案中,筆者發現DE除了適應了不同的文化、環境背景、需求,還能協助方案發展跨越預期的成效。然而,因為DE在整個評鑑過程,經常藉由提問評鑑問題與建立監測架構,逐步形塑並滾動修正目標與實施方式,但是這可能使許多習於傳統評鑑模式的人缺乏安全感,因此必須有經驗充足的評鑑者願意投入與協助,才能使其成為更符合時代脈動與各方需求的一種評鑑管道。此外,在探究DE取徑的過程中,筆者發現Patton在倡導DE上,雖然多方引述運用DE概念與原則的實例,而且他本人也有參與實施DE的方案,但是Patton始終未對實施DE的程序或步驟提出具體說明,基此,筆者建議繼續從國外文獻中蒐集DE實施案例,探尋具體可行的評鑑流程及如何依據方案實施情境背景的變化而做調整,期待能配合國內學校教育的創新方案的推展,實際將DE應用於方案評鑑之中,透過DE的實施,不斷的促成其本身的精煉與成熟,將可望為當前教育方案評鑑提供值得嘗試的明徑。

◎參考文獻

Dozois, E., Langlois, M., & Blanchet-Cohen, N. (2010). DE 201: A practitioner’s guide to developmental evaluation. Retrieved from http://vibrantcanada.ca/files/development_evaluation_201_en.pdf

Gamble, J. A. (2008). A developmental evaluation primer. Montreal, Canada: JW McConnell Family Foundation.

Lam, C. Y. & Shulha, L. M. (2015). Insights on using developmental evaluation for innovating: A case study on the co-creation of an innovative program. American Journal of Evaluation, 36(3), 358-374.

McDonald, H. (2016). Developmental evaluation: A tool to support innovation. Retrieved from http://www.nzcer.org.nz/nzcerpress/evaluation-matters

McKegg, K., Wehipeihana, N., Becroft, M., & Gill, J. (2016). Developmental evaluation’s role in supporting community-led solutions for Māori and Pacific young people’s educational success: The Foundation North Māori and Pacific Education Initiative. In M. Q. Patton, K. McKegg & N. Wehipeihana (Eds.), Developmental evaluation exemplars: Principles in practice (pp. 125-142). New York, NY: Guildford Press.

Patton, M. Q. (2008). Utilization-focused evaluation: The new century text (4th ed.). Thousand Oaks, CA: Sage.

Patton, M. Q. (2011). Developmental evaluation: Applying complexity concepts to enhance innovation and use. New York, NY: The Guilford Press.

Patton, M. Q. (2016). What is essential in developmental evaluation? On integrity, fidelity adultery, abstinence, impotence, longterm commitment, integrity, and sensitivity, in implementing evaluation models. American Journal of Evaluation, 37(2), 250-265.

Rey, L., Tremblay, M. C., & Brousselle, A. (2014). Managing tensions between evaluation and research: Illustrative cases of developmental evaluation in the context of research. American Journal of Evaluation, 35(1), 45-60.

Stufflebean, D. L. & Shinkfield, A. J. (2007). Evaluation theory, models, and applications. Hobojen, NJ: John Wiley and Sons.

Walton, M. (2014). Applying complexity theory: A review to inform evaluation design. Evaluation and Program Planning, 45, 119-126.

 列印 |  |  Top |  回首頁

本期目錄
-本期目錄
單元相關文章