財團法人高等教育評鑑中心基金會  

 

自辦外部評鑑的重要議題:對內部人員評鑑倫理之提醒
文/曾淑惠
  國立臺北科技大學技術及職業教育研究所教授
 /阮淑萍
  國立臺北科技大學技術及職業教育研究所博士生

為引導各大學建立完善的自我評鑑機制並落實大學自主,依據「教育部試辦認定大學校院自我評鑑機制及結果審查作業原則」、「教育部試辦認定科技校院自我評鑑結果審查作業原則」,共計34所獲「邁向頂尖大學計畫」及「獎勵大學教學卓越計畫」補助的大學,以及26所符合最近一次教育部主辦或委辦之綜合評鑑行政類成績為一等,且科技校院一等院系所占全校受評院系所百分之八十以上,或曾獲典範科技大學計畫補助,或曾獲四年以上教學卓越計畫補助,且獲補助金額總計達新臺幣二億元以上之科技校院,可優先試辦大學自我評鑑。教育部並於2012年正式啟動大學自辦外部評鑑,目前符合資格且通過第一階段機制審查之學校,正陸續根據所規劃之機制進行自辦評鑑。

此一制度的推動,無疑是教育行政主管機關期望藉由評鑑政策的引導,促使大學朝向自我管制與改進的方向發展,而自辦評鑑的品質與推動成效更是自辦評鑑能否擴及適用於全國各大學校院的決策關鍵。值此之際,自辦評鑑的品質良窳,值得我們共同關切。

評鑑倫理是評鑑品質的核心議題  對於自辦評鑑亦然

對於評鑑倫理的主張,在評鑑專業發展的過程中曾受到大量的關注與倡議,Stake(1998)就指出,除非我們可以期望評鑑的參與者充滿了倫理的行為,否則評鑑的理論與實務一點價值都沒有。Balzer(2004)在其研究中,透過網際網路調查46國442位評鑑專家的意見,結果顯示在評鑑實施的歷程中對倫理的考量是絕對必要的。再者,評鑑人員是影響評鑑品質的最重要因素的觀點,受到國內外學者一致認同(Patton, 2012;蘇錦麗,2013),其中尤以評鑑人員的能力與倫理議題受到最多討論。過去,已有多位學者在《評鑑》雙月刊中提出對評鑑倫理的看法與建議(吳清山,2006;曾美惠,2006;寇健玲,2010;蔡珮鈞,2013),並認為評鑑倫理的建立,是評鑑工作中重要的一個環節,不僅能確保評鑑的公正與客觀,更是能否樹立評鑑公信力的要素。

在國外,有歐洲學者Vanhoof與Van Petegem(2007)於討論將內部與外部評鑑合併在學校品質保證制度時,曾經提出對自我評鑑品質之質疑。在國內,對於評鑑革新制度之推動,學界多數抱持肯定與期許的態度,也有提出對自辦評鑑品質維護之提醒(陳慧蓉、蘇錦麗,2014)。既然評鑑的品質是大學能否成功走向自辦評鑑新里程碑的指標性議題,評鑑倫理當然必須受到相當的重視。

遵守評鑑倫理非僅外部評鑑者之義務  而是所有評鑑關係人之責任

評鑑倫理是社會大眾及社群所認可的一套原則與規範,由評鑑利害關係人共同遵守,用來在評鑑的啟始階段指引評鑑的建構、在評鑑的過程階段支持評鑑中的適切行為、在評鑑的結果階段用來判斷評鑑的品質(曾淑惠,2009)。然而,國內過去對於評鑑人員之評鑑倫理探討多聚焦在外部評鑑委員之倫理議題,Morris與Cohn(1993)則提醒,許多倫理挑戰是來自評鑑之委託單位及利害關係人,因此評鑑實務中的委託單位與相關利害關係人也應與評鑑人員分擔評鑑倫理之義務。

儘管各國評鑑專業團體所制定之倫理守則或倫理規範等文件,制定之思維不盡相同,上述的看法也受到國外評鑑專業團體的察覺與重視,例如美國評鑑學會(American Evaluation Association)的《評鑑人員指引原則》(Guiding Principles for Evaluators)是聚焦在以評鑑人員為出發點的倫理指引,英國評鑑社群(United Kingdom Evaluation Society)的《良好評鑑實務指引》(Guidelines for Good Practice in Evaluation)是對評鑑中之不同主體進行制定倫理的指引, 大洋洲評鑑社群(Australasian Evaluation Society)的《評鑑倫理行為指引》(Guidelines for Ethical Conduct of Evaluation)與《倫理守則》(Code of Ethics)則是以評鑑階段進行工作倫理的規範制定等,除用以規範專業社群所屬成員的評鑑行為,也提供評鑑建構的各階段中,所有評鑑關係人符合倫理作為的實務指引。

再者,Schwandt(2007)也提醒留意當前評鑑倫理遭遇的三大問題,一是倫理指引守則通常植基於西方對道德的理解,這些原則毫無疑問的涉及個人主義自我表述、個人的自治、個別成長與目標達成、平等主義、精英教育、競爭主義等特徵,因此在團體優於個人、合作重於競爭等文化情境下,並無法適用作為規範性的架構。二是對倫理的關切通常規範於專業指引或守則中,大部分是對個人的行為規範,而忽略對社會機構與社會組織實務的影響,然而,社會與組織實務具有特定的文化價值觀,而且影響了我們與他人的關係,因此評鑑中的倫理不僅是個人專業的建構,也應能規範整個社群;三是最近對評鑑標準的討論趨向於在國際脈絡下討論,這涉及全球經濟、社會、政治與文化,因此必須以重視評鑑中的文化能力,並關切各地方政治與倫理為目標。

換言之,評鑑倫理的規範必須由所有評鑑關係人共同遵守,而不同國家、不同評鑑場域所關切的倫理議題與所重視的倫理原則優先序不盡相同,有待研訂適合特定情境的評鑑倫理規範。

內部評鑑人員與外部評鑑人員  面臨不同面向與程度的倫理挑戰

倫理問題是伴隨評鑑而產生的,因此,內外部評鑑人員皆會面臨倫理問題(Conley-Tyler, 2005)。就遭遇倫理問題的原因而言,House(1986)強調內部評鑑人員面臨的問題不同於外部評鑑人員之處,像是內部評鑑人員受雇於受評單位、身處於龐大行政體系中,可能擔心評鑑帶來的影響,而發生資料被隱匿、結果未被揭露、醜聞勾結等情事,有很多問題是外部評鑑人員通常不會面臨的,也認為應該有更嚴謹的學術關注在這樣的需求跟轉機;Mathison(1999)認為兩者之間的不同在於倫理情境議題與其留意評鑑倫理的程度,做對的事或什麼方式才是對的,會因為情境而有所不同,而情境也會因是內部評鑑人員或外部評鑑人員而有不同之考量;Church與Rogers(2006)則認為兩者間遭遇倫理問題有所不同,是因為他們所處的環境與組織結構的關係,內部評鑑人員是直接處於組織中的情境,因此,倫理兩難會隨著與內部評鑑人員所認識及共事的人而產生,內部評鑑人員通常會覺得面臨這樣的挑戰情境時沒有什麼選擇,為了增進歸屬感與長期的溝通,內部評鑑人員面臨更多挑戰與協調,這樣的情境即意味著內部評鑑人員更容易在組織中因具有專業評鑑人員與組織成員的雙重角色形成衝突。

就遭遇的倫理議題面向而言,Mathison(1991)認為內部評鑑人員遭遇到既是專業評鑑人員又是受評鑑組織之一員的角色衝突,在組織中對評鑑倫理兩難的敏感度會降低,因為在組織中不利於自我反省與自我批判;Lovell(1995)進一步歸納出相較於獨立評鑑人員,內部評鑑人員可能面臨之利益衝突包括評鑑需求的來源、確定關係人的利益、校正對結果的誤用三大項。

上面的論述提醒我們,內部評鑑人員與外部評鑑人員的確可能遭受不同面向、不同程度的倫理困境,需要審慎確認遭遇問題的情境與程度,並於評估該倫理議題對個人與組織的影響後討論其因應之道。

自辦評鑑延展評鑑倫理議題的複雜度  但卻未受重視

大學校院現階段面臨的學校自辦評鑑,不僅評鑑脈絡與過去之外部評鑑不同,人員也與過往僅有外部評鑑訪視委員有所不同,社團法人台灣評鑑協會或財團法人高等教育評鑑中心基金會所訂之評鑑倫理準則,亦可能無法符合目前自我評鑑中所遭遇之倫理議題;再者,因缺乏自我評鑑實務經驗,各校對於內部評鑑人員之倫理議題無法事先界定與規範,也缺乏對內部評鑑人員倫理議題之收集與討論,因此亦未能釐清自我評鑑中內部評鑑人員面臨之倫理問題。

以102學年度符合申請自我評鑑之科技校院且網路能取得之101至102年制定自我評鑑相關辦法的17校資料進行整理,也發現學校所認知的內部評鑑人員狹義而言僅為受聘擔任內部評鑑委員之校內成員,而廣義的內部評鑑人員則包含參與自我評鑑指導委員會之校內成員、獨立或非獨立之自我評鑑辦公室或任務編組的成員,其名稱如自我評鑑指導委員會、自我評鑑工作小組、評鑑工作推動小組、內部評鑑委員等。一位教職員有可能在評鑑任務的不同階段中參與多重組織,扮演多重角色,其需處理的問題與心理的調適備受挑戰。面對這樣的情境,各校對評鑑倫理的規範最多僅強調如:評鑑委員應遵守利益迴避原則、保密原則。換言之,評鑑倫理制定的思維仍以規範外部評鑑委員為主,對內部評鑑人員倫理之關切仍相對不足,所關注的倫理也僅限於利益迴避與保密。因此,自我評鑑之制度與實施,不僅缺乏完整之評鑑倫理討論,也未有對內部評鑑人員之倫理能力要求。

大學校院在進行自辦外部評鑑過程中所面臨的倫理困境,猶如一個人幫自己進行全身健康檢查,在能力方面除必須兼具心臟、呼吸、肝膽腸胃、骨骼肌肉、內分泌等各系統之專科專業,也要具備調整及準備健康檢查身心狀態的能力,在心理調適方面,則要面對深切探究哪一方面及其程度健康情形的抉擇,也要面對向社會大眾揭露自身健康情形及後續開列處方與療癒過程的身心煎熬,其複雜程度不言而喻,然而僅有的倫理規範焦點卻只在如肝腎疾病之治療藥物須避免肝腎之副作用等片段且表淺的枝節議題,凸顯了評鑑倫理規範不夠周延的困境。

對自辦評鑑倫理實務的幾點提醒

對於正在起步之自我評鑑實務,為維護自我評鑑之品質,消弭對自我評鑑公信力之質疑,提出以下幾點建議供參:

● 參考國外自我評鑑倫理規範,各校宜制定適切之自我評鑑倫理規範

檢視目前評鑑專業團體所發表之倫理文件,僅英國評鑑社群(UKES, 2013)於良好評鑑實務指引中將自我評鑑獨立說明,以作為機構自我評鑑的所有參與者之倫理指引,其規範包括:

1.機構成員清楚確認評鑑之目的、目標。
2.確保將評鑑過程納入機構的結構與功能中。
3.於機構內外,對於資料的分享能有一系列清楚的程序。
4.採取確保讓機構中的成員相信評鑑是值得做的措施。
5.認同機構中的知識與經驗分享,會比由外部而來的更具威脅,應採取措施減少這些威脅。
6.在評鑑過程中平等對待所有成員且公布其評鑑發現。
7.確保參與評鑑之人員(不管是資料提供者、收集者或使用者)於評鑑開始即有某種程度參與,因而能知道將發生什麼與為什麼。
8.在時間期限和機構的運作中採用經濟、可行的方法進行評鑑。
9.對於機構主管有後援與支持,包括經濟的支持,適當的會議、網絡、公布與發表。
10.確保評鑑的發現能對機構成員提供績效責任的測量,也提供發展上的回饋。
11.過程採用合理的方法,能從精確的計畫得到有效的啟示。
12.確保機構中的成員於開始評鑑即了解並有共識。
13.於執行與協商評鑑中,展現一致性與可預知的作為。
14.對機構的發展、何時對公眾公布資料的重要性,與何時審慎保留某些資料能夠認同。
15.與成員公開且誠懇地溝通,始終維持公平與公正的倫理程序。
16.尋求建議和/或考慮接納評論者,針對評鑑方法是否嚴謹且評鑑進行是否公開等問題執行稽核。
17.與成員間能以相互了解的語言溝通,且使成員能參與評鑑證據與使用發現的討論。各校或可參考目前主要評鑑專業團體之倫理文件,建置符合各校自我評鑑脈絡之倫理規範或人員指引之文件內容,尤其留意除了利益迴避與保密,仍須對自我評鑑不同階段的主要倫理問題有所關切。

● 委託校內外評鑑倫理委員會相關組織進行自我評鑑計畫之審查與諮詢

晚近美國評鑑學者逐漸強調評鑑是以人為對象,因此評鑑中可能出現的倫理議題或造成之傷害,應在評鑑設計時將尚未實施的評鑑計畫送至人體試驗委員會(Institutional Review Board, IRB)進行審查(Fitzpatrick, Sanders, & Worthen, 2011; Mertens & Wilson, 2012)。由於國內當前學術界對研究倫理日益重視,並已有多所學校設置倫理審查委員會相關單位,且目前各校自我評鑑所關注之倫理僅限於人員於評鑑階段中的資料保密與利益迴避,缺乏對其他倫理議題的關注,如評鑑資料的收集方法是否適切、評鑑資料是否有偏誤、評鑑報告的呈現是否有誤用等。然而,因內部評鑑人員處於學校中,不論角色或之間關係,不利於倫理之敏感度與對倫理之自省,建議可於校內設置獨立之倫理委員會,或委由校外相關倫理審查組織,進行自我評鑑計畫中倫理議題之審查與提醒,除可增加對倫理的作為,亦可於面臨倫理困境時提供符合倫理之諮詢或解決策略。

● 妥善蒐集並運用評鑑倫理兩難情境案例,以提升內部評鑑人員倫理敏感度

對同樣的一件事,一些評鑑人員可能視為倫理的挑戰,另一些評鑑人員則可能視為是政治的、哲學觀的、方法論上的爭論(Morris & Cohn, 1993; Sonnichsen, 2000);Mathison(1991)認為內部評鑑人員由於同時具有評鑑人員及組織成員的身分,在其工作中扮演衝突及調合的角色,內部評鑑人員必須常常對抗組織,反抗自我反省與自我挑戰的思想,也要來評鑑自己所安置的活動,這樣的壓力促使內部評鑑人員降低了對倫理問題的敏感度。Saarni、Parmanne及Halila(2008)也認為,當評鑑人員缺乏倫理敏感度,就無法發現倫理問題、運用倫理推論的能力以及對倫理價值保有特定的態度。同時,對有些人而言,做不符合倫理的決策,不代表其選擇不倫理之行為,而是他未有辨識其情境中之倫理的能力(Sidani, Zbib, Rawwas, & Moussawer, 2009)。House(1995)也指出,由於倫理問題只有在具體的實例中能清楚顯現,很難清楚地用文字來描繪其規範,一般性的倫理原則有時似乎是陳腔濫調或無關的,倫理的考量只有在有衝突的例子下才令人關注,而且倫理考量的決定性更勝於原則本身。因此評鑑倫理困境情境案例的蒐集,是建立倫理原則與增進評鑑人員倫理敏感度的必經途徑。

基於上述緣由,透過評鑑倫理兩難情境案例的蒐集整理,並藉由文件化的過程提供評鑑的自我導向學習資源,或辦理具體且貼近自我評鑑實務的評鑑倫理工作坊或訓練課程,以養成內部評鑑人員的倫理敏感度,對於正確自我評鑑文化的建立應有極大助益。

◎參考文獻

吳清山(2006)。嚴守評鑑倫理 確保評鑑公信力評鑑雙月刊,4,12-13。

寇健玲(2010)。淺談評鑑專業倫理評鑑雙月刊,25,22。

陳慧蓉、蘇錦麗(2014)。績效責任與大學自主間的平衡——我國大學自辦評鑑之比較性研究評鑑雙月刊,50,52-55。

曾美惠(2006)。建立評鑑倫理 專家學者提建言評鑑雙月刊,4,14-16。

曾淑惠(2009)。評鑑委託單位倫理守則之建構。教育政策論壇,12(4),93-125。

蔡珮鈞(2013)。從倫理角度看評鑑專業評鑑雙月刊,45,50。

蘇錦麗(2013)。「評鑑人員專業發展制度」相關內涵分析評鑑雙月刊,46,5-7。

Balzer, L. (2004, September). What does a successful evaluation project need? Paper presented at the 6th Conference of the European Evaluation Society, Berlin, Germany.

Church, C., & Rogers, M. M. (2006). Designing for results: Integrating monitoring and evaluation in conflict transformation programs. Washington, D.C., NY: Search for Common Ground.

Conley-Tyler, M. (2005). A fundamental choice: Internal or external evaluation? Evaluation Journal of Australasia, 4(1&2), 3-11.

Fitzpatrick, J. L., Sanders, J. R., & Worthen, B. R. (2010). Program evaluation: Alternative approaches and practical guidelines (4th ed.). Boston, MA: Allyn & Bacon.

House, E. R. (1986). Internal evaluation. American Journal of Evaluation, 7(1), 63-64.

House, E. R. (1995). Principled evaluation: A critique of the AEA Guiding Principles. New Direction for Evaluation, 66, 27-34.

International Program for Development Evaluation Training. (2007). IPDET Handbook: Module 14 evaluation ethics, politics, standards, and guiding principles. Retrieved from http://dmeforpeace.org/sites/default/files/M14_NA.pdf

Lovell, R. G. (1995). Ethics and internal evaluators. New Direction for Evaluation, 66, 61-67.

Mathison, S. (1991). Role conflicts for internal evaluators. Evaluation and Program Planning, 14, 173-179.

Mathison, S. (1999). Rights, responsibilities, and duties: A comparison of ethics for internal and external evaluators. New Directions for Evaluation, 82, 25-34.

Mertens, D. M. & Wilson, A. T. (2012). Program evaluation theory and practice: A comprehensive guide. New York, NY: Guilford.

Morris, M., & Cohn, R. (1993). Program evaluators and ethical challenges: A national survey. Evaluation Review, 17(6), 621-642.

Patton, M. Q. (2012). Essentials of utilization-focused evaluation. Thousand Oaks, CA: Sage Publications.

Saarni, S. I., Parmanne, P., & Halila, R. (2008). Ethically problematic treatment decisions: A physician survey. Bioethics, 22(2), 121-129.

Schwandt, T. A. (2007). Expanding the conversation on evaluation ethics. Evaluation and Program Planning, 30(4), 400-403.

Sidani, Y., Zbib, I., Rawwas, M., & Moussawer, T. (2009). Gender, age, and ethical sensitivity: The case of Lebanese workers. Gender in Management: An International Journal, 24(3), 211-227.

Smith, N. L. (2002). An analysis of ethical challenges in evaluation. American Journal of Evaluation, 23(2), 199-206.

Sonnichsen, R. C. (2000). High impact internal evaluation: A practitioner's guide to evaluating and consulting inside organizations. Thousand Oaks, CA: Sage Publications.

Stake, R. (1998). When policy is merely promotion, by what ethic lives an evaluator? Studies in Educational Evaluation, 24(2), 203-212.

United Kingdom Evaluation Society. (2013). Guidelines for good practice in evaluation. Retrieved from http://www.evaluation.org.uk/assets/UKES%20Guidelines%20for%20Good%20Practice%20January%202013.pdf

Vanhoof, J., & Van Petegem, P. (2007). Matching internal and external evaluation in an era of accountability and school development: Lessons from a flemish perspective. Studies in Educational Evaluation, 33(2), 101-119.

 列印 |  轉寄好友 |  Top |  回首頁

本期目錄
-本期目錄