財團法人高等教育評鑑中心基金會  

 

淺談價值涉入取向之方案評鑑
文/林素卿
  國立彰化師範大學教育研究所教授

評鑑是一種涉及價值的活動(Christie & Alkin, 2008),評鑑工作的核心,就是評鑑者根據某些標準對受評的對象作出價值判斷,因此,評鑑被視為一種價值負載的事業(values-laden enterprise)(Mabry, 2010; Scriven, 2003)。Christie和Alkin(2008)在〈評鑑理論樹再檢視〉(Evaluation Theory Tree Re-examined)一文中,將評鑑理論樹分為方法(methods)、價值(valuing)、應用(use)三種主要枝幹,其中價值枝幹上的評鑑理論包括Michael Scriven、Egon Guba與Yvonna Lincoln、Robert Stake、Ernest House、Ernest House與Kenneth Howe、Elliot Eisner、Robert Wolf與Thomas Owens、Jennifer Greene、Donna Meterns、Barry MacDonald等人的理論。

兼顧描述性價值與規範性價值

價值涉入取向(values-engaged approach)評鑑被歸類在價值評鑑理論的分枝上。此取向是由伊利諾大學香檳校區(University of Illinois at Urbana-Champaign)教育心理系教授Jennifer Greene所提出,主要整合回應式評鑑模式(responsive evaluation)與審議民主評鑑模式(deliberative democratic evaluation),兼顧描述性的價值(descriptive values)和規範性的價值(prescriptive values)。

描述性的價值係指利害關係人的價值和關注,在回應式評鑑模式中,將其列為評鑑過程的一部分及整體資料蒐集和解釋資訊的線索。利害關係人的價值和關注可能隱藏在所描述的方案經驗和判斷方案的意義與成果之中(Stake, 2004)。規範性的價值則是基於民主式評鑑理論傳統的思維,諸如民主式評鑑、審議民主評鑑、融合式評鑑(inclusive evaluation)(Mertens, 1999)。這些評鑑理論皆呼籲評鑑者應該公開倡導及擁護社會正義(social justice)和平等(equity)的價值,在評鑑過程中為不同利害關係人發聲,特別關注社會邊緣人或弱勢者的觀點和聲音(Greene, DeStefano, Burgon, & Hall, 2006; House & Howe, 1999)。

基於回應式評鑑和民主式評鑑理論的核心價值,價值涉入取向評鑑不僅關注不同利害關係人價值的涉入,以確保所有參與者的觀點和利益都能涵蓋在內,同時也倡導及提升包容和平等的價值,體現社會公平與正義。

價值涉入取向評鑑主要整合回應式評鑑理論與審議民主評鑑理論,以下分別就這二種評鑑理論的核心概念加以說明。

理論基礎之一:回應式評鑑重視利害關係人需求

回應式評鑑源自於建構主義的評鑑典範。建構主義乃基於格式塔心理學者(Gestalt psychologists)公認的原則,即個人不會遵照別人的話而行動,除非他們自己相信該行動有其個人或社會意義。因此,建構主義的評鑑非常關注利害關係人的社會建構、意義創造和意義衍生的活動(Lincoln & Guba, 2013),重視協商的結果,趨向於更敏感、民主和參與式的評鑑模式。

回應式評鑑認知到方案的意義是透過參與者的互動、對話及詮釋建構而成,重視評鑑的過程而非評鑑的結果。此評鑑模式也是社會情境導向的,考慮不同利害關係人的價值觀,重視資訊的蒐集,強調對人和方案背景脈絡的了解。因此,回應式評鑑不只是一種模式,也是一種態度,評鑑方式的選擇及設計取決於利害關係人所關切的議題和需求,以利害關係人對方案的觀察、互動,透過個人的、直觀的判斷來評估方案的品質(Stake, 2002, 2004)。Stake(2004)建議最好採用俗民誌(ethnography)、自然主義探究和現象學(phenomenology)等社會人類學取向的方法設計評鑑,認為個案研究和透過對個案的厚實描述(thick description)更有助於了解方案的品質。

理論基礎之二:審議民主評鑑三原則與爭議

House及Howe(2000)在審議民主評鑑中倡導以包容(inclusion)、對話(dialogue) 和審議(deliberation)為原則,作為利害關係人參與發聲的指標。House和Howe (1999)相信,評鑑者應該接受權威(authority)而非權力(power)。有鑑於有些評鑑者長期迎合有權力的利害關係人,House和Howe主張將包容列為審議民主評鑑的第一原則。

● 第一原則:包容

包容原則係指在評鑑任何方案或政策時,必須包含所有利害關係人的意見在內。利害關係人參與的方法可以從被動參與(例如填寫封閉式問卷)到主動參與(如面對面的討論)(Howe & Ashcraft, 2005)。

● 第二原則:對話

對話是審議民主評鑑的第二個原則。House和Howe(1999)認為,所有利害關係人的對話是必要的,透過對話確保其陳述的意見係經過深思熟慮,方能對評鑑產生真正的助益。對話可分為闡釋性對話(elucidating dialogue)和批判性對話(critical dialogue)。闡釋性對話僅限於陳述參與者的觀點及自我理解;批判性對話是參與者除了陳述自我觀點及理解外,也必須將這些觀點和理解公開讓他人檢視,是一種以證據為導向的知性活動,從中得出最為理性和周延的結論。因此,批判性對話是審議的基礎(Howe & Ashcraft, 2005)。

● 第三原則:審議

審議是審議民主評鑑的第三個原則,係指權衡每種意見和觀點以得出較為準確的結論。House和Howe(1999)指出,與生俱來的社會不平等存在於利害關係人的權力和聲音中,有些人擁有豐富的知識、資訊、權力和資源,擅於論辯;但有些人可能較為弱勢且不善表達。審議常被視為一種消弭利害關係人之間權力不對等的方法,因為在審議過程中,評鑑者必須合於理性的掌控審議的對話脈絡,決定參與審議的人員及代表性,並確保審議過程是慎思明辨的。

例如,評鑑者可以監督並直接參與對話,以降低審議論辯中的不平等,亦可透過各種工具或作法(如成立少數族裔的核心小組),協助確保少數族群參與大型論壇能充分表達其觀點,使審議過程更趨自由與平等(Howe & Ashcraft, 2005)。

● 規範性價值觀的論戰

基於權力不對等的敏感議題,民主評鑑的傳統提出規範性價值觀(prescriptive valuing),主張評鑑者公開倡導、擁護及提升某些特定價值,特別是社會正義和平等是最值得擁護的價值(Greene et al., 2006)。然而,Everitt(1996)認為評鑑者公開倡導某些特定價值的作法,將造成社會民主的阻礙,評鑑的實施將會被視為一種政治性的行為。Shadish、Cook和Leviton(1991)也指出,評鑑者公開倡導民主的明確價值(explicit valuing)將面臨到對某些特定價值的偏好,造成這些價值或信念凌駕於其他價值之上的困境。由此可見,規範性價值觀所引發的議題在評鑑社群中仍持續被爭議著。

▲價值涉入取向評鑑應重視參與者的學習需求。(陳秉宏/攝)

主要觀點

價值涉入取向評鑑主要整合上述回應式評鑑與民主式評鑑的傳統,既描述不同利害關係人的價值,也公開倡導包容和平等的價值。此取向對包容的承諾是尊重及描述利害關係人,在方案實施的環境脈絡下產生多元觀點及經驗;此取向對於平等的承諾則是透過評鑑問題、資料蒐集和對話等方式,了解方案對所有利害關係人之適切性及產生的意義,特別是對常被忽略的個人或群體。

此取向在理解方案是否適切方面,其作法包括多元層面(multi-dimensional)、環境脈絡(contextual)及差異性(diversity)等方面的理解。在多元層面方面,描述和評估教師教學與學生學習的品質,記錄他們對於教學和學習的看法,以及了解方案對於工作人員、參與者和其他相關人員所產生的影響(Greene et al., 2006)。

在環境脈絡方面,此取向將地方環境脈絡(local context)視為影響教育方案特性的重要因素,所以在評鑑規劃、分析和報告時,必須考量脈絡因素。Greene等人(2006)指出,環境脈絡的影響是多面向的,例如該地區的人口組成、族群差異、文化特色及規範、人際互動、經濟結構、機構的組織氣氛、政治氛圍、居民對於各族群差異的包容性,以及該方案的歷史背景、參與者的社經背景等,這些因素常常是錯綜複雜交織影響方案的品質。

因此,價值涉入取向評鑑在評估方案執行狀況時,不僅要聚焦於方案的規劃、實施和影響,也要關注此方案是否適合那些參與者的文化與日常生活,是否符合他們對於方案的期待,是否產生價值上的衝突等。換言之,評鑑並非只要知道方案實施的成效,更要了解環境脈絡對於方案品質的影響(Greene, Millett, & Hopson, 2004)。

基本假設

價值涉入取向評鑑的基本假設包括以下三點:

1.任何知識或主張皆有其理論基礎和價值偏好,利害關係人之間存在著多元價值、不同的利益和方案經驗。例如,當評鑑者企圖描述所有利害關係人對於方案的內容、教學和學習價值時,有些利害關係人可能偏好「教師中心教學」(teacher-directed instruction),相信此種教學能有效提升學生的內容知識(content knowledge);反之,有些參與者可能比較喜歡「問題導向學習」(problem-based learning),相信這種教學法能提升學生的科學立論能力和學習科學的動機。

2.利害關係人價值觀的差異是不可避免的,評鑑者應該處理價值衝突,而不是避免價值衝突。

3.評鑑基本的價值承諾是民主及平等,在過程中應秉持包容、對話及審議原則,透過利害關係人公開和包容性的對話,分享方案經驗及整體方案品質的看法,使評鑑結果更趨可信(公正、無偏頗)(Greene, 2001; Greene et al., 2006; Greene, Boyce, & Ahn, 2011; Hall, Ahn, & Greene, 2012)。

總而言之,此取向的評鑑不僅關注不同價值的涉入,以確保所有參與者的觀點和利益都能涵蓋在內,也希望倡導和提升包容與公平的價值,體現社會正義及平等,特別是那些過去經常被忽略的價值,期能在特定方案的參與者組成中,提高方案的參與度和代表性,滿足那些過去未能得到適當對待的個人或群體的學習。

兩種承諾

Greene等人(2006)指出,價值涉入取向評鑑是基於二種承諾:「評鑑是一種教育的實踐」和「評鑑涉及特定價值的判斷」,二者互相關連。作為一種教育的實踐,評鑑方式可以促使教育方案顯現出有意義的、優質的、有效的環境特徵及輪廓,其作法是透過描述及評估學生學習經驗和教師教學的品質、了解方案提供者的思維及教學觀點,為真正的有效學習提供多面向的證據。因此,評鑑者必須扮演促進者的角色,協助方案工作人員、參與者以及其他有關人士,對方案實施的環境脈絡有更多的了解。

Greene等人(2006)指出,社會上把評鑑定位為是一種對教育的努力,認為評鑑者即是教育者。正如Cronbach所言:評鑑者是一個教育者,他或她的成功是以別人學到什麼來判定;方案評鑑也是一個社會自我學習的過程,促成社會行動對於替代性方案作出明智的討論及決定(引自Greene et al, 2006)。

作為一種涉及特定價值的判斷,評鑑方式要積極涉入與連結方案本身到教學、學習及方案運作的環境脈絡的價值批判,關注社會的正義價值,特別是方案能否提高弱勢個人與團體參與的代表性,方案政策、方案本身及方案實踐能否顧及特殊族群(如少數族群、女性、低收入學習者、移民和殘障學習者)的利益與觀點,評鑑過程是否秉持包容與公平的價值,為社會帶來更多的平等與正義(Greene et al., 2006)。

三種特色

基於上述承諾,價值涉入取向評鑑顯現出三種特色:(1)從評鑑之初即注意到方案的內容、有效的教學法、平等和差異的議題;(2)為方案服務的所有個體揭露個別的學習經驗和成果,而不是以整體平均數或聚合成果作為代表;(3)透過接觸方案所有層次的資訊提供者和對環境脈絡的觀察,賦予評鑑者專業權威,使其有機會為教育做出努力,提升方案的影響力(Greene, 2001; Greene, Boyce, & Ahn, 2011; Hall, Ahn, & Greene, 2012)。

對臺灣方案評鑑的啟示

● 兼顧並處理不同利害關係人的價值及衝突

價值涉入取向評鑑關注不同價值的涉入,以確保所有利害關係人的觀點和利益都能涵蓋在內,因此建議評鑑者能以包容及平等的原則,對待所有利害關係人,不論從評鑑方法的選擇、設計到品質的評估,都能傾聽多元的聲音。再者,利害關係人間價值觀的差異無可避免,當價值衝突發生時,評鑑者應提供對話的平台,讓各類觀點都有充分闡述及受到公開檢視的機會,並強調以證據為導向,從中得出更為理性和周延的結論。

● 重視所有參與者的學習需求,關注弱勢者的聲音

價值涉入取向評鑑的基本假設之一是方案參與者間存在多元的價值、不同的利益和特殊的方案經驗。因此,建議評鑑者在從事方案品質的判斷時,能跳脫過往以整體的平均數作為判斷方案成效之依據,改為尊重參與者的主體性,重視所有參與者的學習需求,特別是關注弱勢者的學習經驗及方案帶給他們的影響及意義。

● 理解環境脈絡的影響力,提供優質方案的環境特徵及輪廓

價值涉入取向評鑑在判斷方案品質時,非常重視方案實施的環境脈絡,例如方案提供者的思維、教師教學的品質、學生學習的經驗、學校的組織氣氛、社區人口組成和文化差異、環境資源等因素對方案品質的影響。因此,建議評鑑者多方面理解影響方案的環境因素,積極涉入與方案政策、方案本身、方案實踐有關之環境脈絡的價值批判,為有效的方案提供更多的證據,促使其顯現出有意義的、優質的、有效的環境特徵及輪廓。

◎參考文獻

Christie, C. A., & Alkin, M. C. (2008). Evaluation theory tree re-examined. Studies in Educational Evaluation, 34, 131-135.

Everitt, A. (1996). Developing a critical evaluation. Evaluation, 2, 173-188.

Greene, J. C. (2001). Dialogue in evaluation: A relational perspective. Evaluation, 7(2), 181-187.

Greene, J. C., Boyce, A., & Ahn, J. (2011). A values-engaged, educative approach for evaluating education programs: A guidebook for practice. Champaign, IL: University of Illinois at Urbana-Champaign.

Greene, J. C., DeStefano, L., Burgon, H., & Hall, J. (2006). An educative, values-engaged approach to evaluating STEM educational programs. New Directions for Evaluation, 109, 53-71.

Greene, J. C., Millett, R., & Hopson, R. (2004). Evaluation as a democratizing practice. In M. Braverman, N. Constantine, & J. K. Slater (Eds.), Putting evaluation to work for foundations (pp. 96-118). San Francisco, CA: Jossey-Bass.

Hall, J. N., Greene, J. C., & Ahn, J. (2012). Values-engagement in evaluation: Ideas, implications, and illustrations. American Journal of Evaluation, 33(2), 195-207.

House, E. R., & Howe, K. R. (1999). Values in evaluation and social research. Thousand Oaks, CA: Sage.

House, E. R., & Howe, K. R. (2000). Deliberative democratic evaluation. New Direction for Evaluation, 85, 3-12.

Howe, K., & Ashcraft, C. (2005). Deliberative democratic evaluation: Successes and limitations of an evaluation of school choice. Teachers College Records, 107(10), 2274-2297.

Lincoln, Y. S., & Guba, E. G. (2013). The roots of fourth generation evaluation. In M. C. Alkin (Ed.), Evaluation roots (2nd. ed.) (pp.218-228). Los Angeles, CA: SAGE publications, Inc.

Mabry, L. (2010). Critical social theory evaluation: Slaying the dragon. New Directions for Evaluation, 127, 83-98.

Mertens, D. M. (1999). Inclusive evaluation: Implications of transformative theory for evaluation. American Journal of Evaluation, 20, 1-14.

Scriven, M. (2003). Evaluation in the new millennium: The transdisciplinary vision. In S. I. Donaldson & M. Scriven (Eds.), Evaluating social programs and problems visions for the New Millennium (pp. 19-42). Mahwah, NJ: Lawrence Erlbaum.

Shadish, W. R., Cook, T. D., & Leviton, L. C. (1991). Foundations of program evaluation: Theories of practice. Newbury Park, CA: Sage.

Stake, R. E. (2002). Program evaluation, particularly responsive evaluation. Education and Human Services, 49(4), 343-362.

Stake, R. E. (2004). Standards-based and responsive evaluation. Thousand Oaks, CA: Sage.

 列印 |  轉寄好友 |  Top |  回首頁

本期目錄
-本期目錄