財團法人高等教育評鑑中心基金會  

 

自我評鑑潮流下 反映辦學成效之評鑑項目設計
文/王保進
  臺北市立教育大學教育行政與評鑑研究所教授兼所長

社會大眾與學術社群多數對評鑑本身的意義抱持肯定態度,但對於評鑑的作法、指標、頻率等,則有作法是否太形式化、指標無法展現學校特色、增加學校負擔等批評。教育部在完成第一週期系所評鑑及校務評鑑的基礎後,為引導各大學建立完善的自我評鑑機制,落實大學自我管制之精神,於去(101)年7月17日公布「教育部試辦認定大學校院自我評鑑結果審查作業原則」,初期以34所頂尖大學與教學卓越大學作為優先試辦對象,去年10月與今(102)年2月並已有部分試辦學校提出自我評鑑實施計畫書,申請進行自我評鑑之審核作業。

大學自我評鑑實施原則

依據「教育部試辦認定大學校院自我評鑑結果審查作業原則」第五點規定,大學自我評鑑結果申請認定,自我評鑑之實施要件應包括自我評鑑相關辦法之訂定與落實、定期之自我評鑑機制的後設評鑑、能反映教育品質之校務與系所自我評鑑的評鑑項目設計、自我評鑑指導委員會設置、自我評鑑之實施、外部評鑑委員之組成與利益迴避、自我評鑑完成期程、外部評鑑程序、校內人員評鑑專業知能之提升等條件。準此,各大學申請自我評鑑之實施計畫內容,包括評鑑辦法、評鑑項目、自我評鑑指導委員會之組織與運作、自我評鑑流程、評鑑委員遴聘、自我評鑑支持系統、改進機制、評鑑結果公布及運用,及其他等九個項目。

由於具備申請資格的34所公私立大學校院,過去都已分別接受高等教育評鑑中心或台灣評鑑協會之校務與系所評鑑,部分大學校院之系所也曾主動申請中華工程教育學會(IEET)的工程教育認證,甚至少數學校內部已經進行過主動之自我評鑑,因此多已累積相當豐富之評鑑經驗。

掌握評鑑專業素養 自評項目應符合學校自身條件

針對教育部公布之實施計畫申請書內容,目前已提出申請的學校都能掌握實施計畫申請書之旨趣,擬定適合自身條件之完整自我評鑑實施計畫書;但其中「能反映教育品質之校務與系所自我評鑑的評鑑項目設計」這項條件,由於涉及評鑑工具擬定之專業素養,多數負責人員對於包括項目(item)、標竿(benchmark)、標準(standard)、效標(criterion)、指引(guideline)、指標(indicator)、規準(rubric)等與評鑑工作相關之專業術語,並未具備完整之先備知識,因此目前多數學校有關「能反映教育品質之校務與系所自我評鑑的評鑑項目設計」此項條件之設計,多是依循高教評鑑中心或台灣評鑑協會過去公布之評鑑項目或標準,再參酌學校本身之特性進行微調。

值得玩味的是,若過去社會與學術社群對高教評鑑中心辦理校務評鑑與系所評鑑所研擬之評鑑項目與標準,所提出指標過於單一繁瑣、無法反映學校辦學特色,甚至只能引導出一所「教育部大學」之批評是合理的,那麼目前具備申請資格之大學校院以上述二機構所公布之評鑑項目進行微調之作法,是否真正能反映學校之教育品質與辦學特色,不免出現與過往批評相互矛盾之弔詭,甚至令人質疑!所謂「工欲善其事,必先利其器」,本文根據學術研究之文獻與主要國家辦理高等教育之實務經驗,提出能反映教育品質的評鑑項目設計之建議,供大學校院設計符合本身條件之評鑑項目參考。

self-study前應先釐清品質內涵

自我評鑑依其性質,在評鑑之相關文獻中常出現self-study與self-evaluation二詞,一般都將二者通用。但若嚴格區分,前者是一種自發性之自我評鑑,由高等教育機構自訂較為具體的目標與標準,對教育品質進行自我檢討、調整、改善,是學校所有成員對自己學校的潛力與效能所作的自我分析;後者則是由外部機構(如高教評鑑中心)所促動,學校被動接受之自我評鑑,並將其所得結果撰寫成報告,以供進一步外部評鑑認可教育品質之依據的活動。目前教育部所推動之政策對大學校院而言,為確保大學自主與學術自由,應該強化self-study之自我評鑑,並將評鑑結合成校務發展與管理中之一環,才能真正落實自我管制(self-regulation)之精神。

不論哪一種的自我評鑑都可發現,最終目標都在透過評鑑為手段,以確保或達成教育品質為目的。但在有關品質保證系統之文獻中,對品質之定義迄今仍莫衷一是,隨著不同互動關係人之需求,品質之內涵就有所差異。澳洲大學品質局(Australian Universities Quality Agency, AUQA)(AUQA, 2002)即指出,對品質內涵之定義是一件相當重要的事,此反映出一個機構之品質哲學與宗旨,並進一步影響組織內部功能(包括評鑑)之運作、管制機制之建構,以及對外之公共關係和產品為市場接受之程度。也就是說,當對教育品質之認知與定義不同,對於以評鑑為自我管制之工具,在評鑑項目之規劃與設計上也會有所差異。因此,大學校院在設計能反映教育品質之評鑑項目時,先釐清品質之內涵是一件相當重要之課題。

績效責任導向 vs. 品質改善導向

依據學術文獻與高等教育評鑑實務,教育品質之內涵可分為卓越(excellence)、完美(perfect)、目的配適(fitness of purpose)、績效責任(accountability)及轉化(transformation)等五個向度。其中與主要國家高等教育評鑑實務最直接相關的二個教育品質內涵,即為績效責任與持續改善之轉化觀。根據主要國家高等教育評鑑實務,強調績效責任品質觀之評鑑項目設計,較為強調「產出」面之比重,但也兼顧「輸入」與「過程」面之效率;至於強調自我持續改善之品質觀,則在評鑑項目設計上,較強調「輸入」與「過程」面之投入與運作,以找出影響教育品質之關鍵要素,但也兼顧「產出」面之效能。

其次,過於強調績效責任導向,對教育品質之改善未能有顯著之衝擊與助益;亦即品質改善與績效責任間存在某種程度之衝突,將評鑑目的置於績效責任之確保,將不利於品質之改善與革新。當評鑑目的是績效導向,特別是結果與補助有關時,學校勢必盡可能掩飾學校經營上之缺失,避免影響學校評鑑成績;反之,將評鑑目的置於品質之改善,則難以判斷學校教育品質之績效。在此兩難之情境與評鑑項目重點的差異下,大學校院在設計評鑑項目時,首先應能明確決定自我評鑑實施之評鑑目的,如此才能設計出能確實反映教育品質之評鑑項目。

評鑑內容與評鑑標準

在決定評鑑目的後,即可進行評鑑項目的設計。有關評鑑項目的設計,涉及到評鑑內容與評鑑標準二個層次的概念。前者是對評鑑項目的規劃;後者是對每一個評鑑項目的內涵設計。以下分別說明之:

1.評鑑內容

目前主要國家在高等教育評鑑實務上,有關評鑑內容(通常就是國內常用之評鑑項目)的決定,可分為三種不同取向:

(1)科層體制取向

所謂科層體制取向,就是在評鑑內容的規劃上依循校務組織架構研訂。一般來說,我國大學校院校務組織之科層體制,通常包括教務、學務、總務及相關行政支援的一級單位。台灣評鑑協會所進行之科技大學與技術學院校務評鑑,對於評鑑內容的規劃,就是標準的科層體制取向,分為綜合校務(含秘書、研發、國際化等行政單位)、教務行政(含教務、圖書館、資訊中心等行政單位)、學務行政(含學務及生涯發展等行政單位),及行政支援(含總務、人事、會計等行政單位)等四類總和大學校院一級行政單位之評鑑。

(2)CIPP取向

所謂CIPP取向,就是在評鑑內容的規劃上依循校務經營之歷程研訂。根據Daniel L. Stufflebeam之分類,校務經營之歷程可分為背景(context)、輸入(input)、過程(process)及輸出(output)四個歷程,評鑑內容之規劃即可依據此四個歷程之內涵,規劃適當之評鑑項目。美國國家教育品質獎之評審項目設計,即為CIPP模式之典範。

美國國家品質獎由美國商務部於1987年所設置,並委託美國品質學會(American Society of Quality)負責管理國家品質獎之審查評選。目前已經發展出適用於企業界、教育機構及醫療機構之三套審查效標。其中教育機構之國家品質獎係基於願景領導、學習為核心之教育、組織與個人學習、尊重教職員及伙伴、敏捷、未來導向、經營革新、事實管理、社會責任、結果與價值創新,及系統取向等核心價值與概念為基礎,將品質審查標準根據圖一的架構,分為七個向度共19個效標,如表一。

表一 美國國家品質獎品質效標與分數權重

 

(3)校務專業取向

所謂校務專業取向,就是在評鑑內容的規劃上依循校務或學術專業之內涵研訂。隨著國家教育政策、評鑑規劃者之專業素養,及學術專業本身之內容,校務專業取向的評鑑項目設計呈現相當多元之風貌。隨著評鑑標準之設計強調系統性與整合性之趨勢,目前主要國家高等教育評鑑機制在評鑑項目規劃上,多採校務專業取向進行設計。例如,美國西北區各州認可學會(Northwest Association of Schools and Colleges, NWASC)之校務評鑑的評鑑內容,就包括宗旨與目標、學程與效能、學生服務、教師素質與表現、管理與行政、財政、資源與設備、機構統整性等八個評鑑項目。而丹麥對大學學程評鑑之評鑑內容,則包括學程之宗旨、管理組織與資源、學程結構、學程內容、實際學習活動、教學與訓練方法、教師素質(含教學能力)、學生考試與評量、國際化、與其他機構和社會的關係,及品質保證機制等11個評鑑項目。又如我國IEET所做工程教育認證依循之美國工程及技術教育認證委員會(Accreditation Board for Engineering and Technology, ABET)之資訊學門認可項目,包括目標與評估、學生支援、教師、課程、實驗室與電算機設備、學校支援與財政資源,及學校設施等七項評鑑項目。我國自高教評鑑中心成立後所進行之校務與系所評鑑,其評鑑項目也跟國際同步,係採校務專業取向進行評鑑項目之規劃。

2.評鑑標準

評鑑標準係評鑑項目內涵的翔實化與具體化,目的在讓受評單位準備評鑑工作時有明確之依循。對於評鑑標準,在相關文獻中交互出現「評鑑標準」(AACSB, 2003; WASC, 2001; NWASC, 1999)、「評鑑指標」(台灣評鑑協會,2009),與「評鑑效標」(ABET, 2002)等術語,加上學者對此三個術語內涵認知之差異,因此有時標準下面有不同的效標與指標;或是效標下涵蓋了多個標準;或是某一個指標下以效標作為參照;此經常出現在不同層級或不同評鑑機構的評鑑手冊或實施計畫中。顯見評鑑標準常因標準制定機構之認知不同而出現不一致之現象,包括標準(standard)、指標(indicator)或效標(criterion)等術語。

● 從量化到質性評鑑標準

綜合主要國家高等教育實務之用法,評鑑標準係由教育宗旨或目標而來,所蘊含的層次較高、範圍較廣,其中可量化的要素可以評鑑指標來測量,無法量化的要素則必須採取文字的質性描述。亦即,評鑑指標意義之賦予完全仰賴於評鑑者對於根據目標所定之標準的解釋或設計。最後,教育評鑑效標應是判斷評鑑標準是否達成目標之價值的決斷點。也就是說,就高等教育評鑑而言,評鑑標準為一上位之概念,在評鑑標準之下應先確認其重要成分或要素,並建構表示這些要素可量化的評鑑指標或不可量化的質性敘述,以描述校務運作的現況與健康情形;最後,將評鑑所得到之資料(data),根據既定之效標進行價值判斷,以獲得有關結果之資訊(information)。

至於評鑑標準因所蒐集資料性質的不同,可分為「量的」與「質的」評鑑標準二種。屬量的標準,係以數量說明學校應達成的標準,如教師流動率;而質的指標,係以文字來描述一般性與廣泛性的標準,亦即對所要評鑑內容的概括性文字敘述,如學校應建立完整之校務發展計畫。而從主要國家評鑑標準設計之發展來看,早期多是強調量化的標準(即評鑑指標),後因評鑑指標常忽略了學校背景與條件之差異,且教育品質有很多層面是難以用量化數據加以客觀描述,因此評鑑標準逐漸轉為強調質性的描述,但隨著大學教育目標與功能的複雜性日增,在應用的結果上逐漸出現缺乏系統性與統整性的缺失,而產生「見樹不見林」的問題。

● 標竿的設計

因此,近年各主要國家高等教育評鑑實務中,因為受到標竿化品質管理之影響,對評鑑標準的設計也趨向強調標準之統整性(integrated)與系統化(systematic),而將反映出設校宗旨或教育目標的評鑑標準,根據標準本身所代表的功能加以整合,成為「標竿」(benchmark)之形式。

綜合主要國家對標竿之設計,首先通常說明「標竿之理論內容」,此一「內涵」或「意圖」(intension)可以視為對「評鑑標準」整體樣貌的敘述,屬於「應然」層面;其次是「最佳實務」(best practice)的設計,是將標竿所指涉之內涵或意圖達到「品質卓越」之實際目的的系統性與統整性之具體描述;再者,為讓受評單位能明確完整描繪其達到品質卓越之實況,通常會有所謂「效標」或「指引」(guideline)的設計,作為評鑑單位自我描述之依據。這些效標或指引等同於過去所謂的質性描述的評鑑標準,但與過去質性描述標準最大的差異,在於全部都以「問題」方式呈現,以能因應多元化之需求,適應各受評單位條件與實際作法之差異。當然,受評單位亦可用量化指標來說明實際表現。

最後,有些國家之高等教育評鑑機制中,甚至會進一步設計出「表現水準」(performance level),明確區分品質卓越實際上之差異,其在性質上屬於「評鑑效標」。我國高教評鑑中心近年所進行之校務評鑑與系所評鑑,在評鑑標準的設計上,就是採用包括「內涵」、「最佳實務」及「參考效標」三個層次的設計方式,即與主要國家高等教育評鑑實務之評鑑標準設計方式完全一致。

強調學生學習成效內涵的檢核

最後,就主要國家高等教育評鑑機制之趨勢來看,不論是校務評鑑或是學門(程)專業評鑑,學生學習成果的評估已經成為高等教育成效評鑑的核心價值。以美國為例,美國高等教育認可審議會(Council for Higher Education Accreditation, CHEA)舉辦有關評量學生學習成效(student learning outcome)之工作坊,以期將學生學習成效作為未來大學認可的重點,也為大學校院自我檢核績效責任的文化奠定基石。而歐盟國家自1997年波隆納宣言(Bologna Declaration)確認在2010年建立歐盟高等教育區域之目標後,為確保各簽署國之大學教育品質能達到齊一之品質,亦組成相關小組進行有關學歷架構(qualification frameworks)之研究,以確立三級學制畢業生應有之學生學習成效,作為簽署國進行大學校院專業學程品質認可之依據。因此,為確保從學生面強調我國大學校院所培育之畢業生是具有國際競爭力之學生,此次教育部高教司開放34所大學校院進行自我評鑑,對於評鑑項目之規劃與設計,也應因應國際趨勢,強調有關完整學生學習成效內涵之檢核。

而各大學校院在實際進行學生學習成效內涵之評鑑項目規劃與設計時,可參酌美國高等教育認可審議會所屬之校務評鑑或學門評鑑專業機構之評鑑標準設計,或是歐盟主要國家所設立之國家層級高等教育評鑑專業機構之評鑑標準設計,再依據學校本身之發展定位與獨特之辦學條件,同時掌握新近強調系統化與統整性之標竿應用,應該即可規劃與設計出足以完整反映教育品質之校務與系所自我評鑑的評鑑項目設計。此二機構之網址分別為www.chea.org及www.enqa.eu,連上這二個網頁後,只要從其所屬成員之選項進一步連結,就可分別找到進行校務評鑑或系所評鑑之評鑑項目規劃與設計時,適合參考之專業評鑑機構評鑑標準。

◎參考書目

台灣評鑑協會(2009)。98年科技大學評鑑手冊。臺北市:台灣評鑑協會。

AACSB. (2003). Eligibility procedures and accreditation standards for business accreditation. Tampa, FL: The Author.

ABET. (2002). Criteria for accrediting computing programs: 2003-2004 accreditation cycle. Baltimore, MD: Accreditation Board for Engineering and Technology, Inc.

AUQA. (2002). The Australian higher education quality assurance framework. Canberra, Australia: Australian Universities Quality Agency.

NWASC. (1999). Accreditation handbook. Redmond, WA: Northwest Association of Schools and Colleges.

WASC. (2001). Handbook of accreditation. Alameda, CA: Western Association of Schools and Colleges.

 列印 |  轉寄好友 |  Top |  回首頁

本期目錄
-本期目錄
單元相關文章