財團法人高等教育評鑑中心基金會  

 

評鑑指標既要多元也要精簡
文/李隆盛
  高等教育評鑑中心執行長

本文旨在說明評鑑機構或大學校院在建立或檢討大學校、院、系、所和班制(program)(以下簡稱「受評單位」)的評鑑指標時,該同時重視多元和精簡原則。

指標是判斷價值的準據 也是蒐集評鑑資料的指引

評鑑是針對特定人事時地物,進行系統化資料蒐集與評估,以做出價值判斷,提供有用回饋的程序。所以,評鑑需要指標做為判斷受評單位成就與價值的準據,以及蒐集和處理評鑑資料的指引。

優質的指標要能:透過觀察精確地評估或描述受評單位符合評鑑準則(criteria)的情形,提供簡易資訊使資訊供應者和使用者之間容易溝通並有一致性的了解,同時能精確陳述而無模糊不清字句,並會因為受評對象有所改變而敏銳地變動資料,以及用在評估績效時需明確、可測量、可達成、有關聯和有時限(European Commission, 2006)。

指標衍自準則 準則衍自問題

如表一所列,評鑑問題(question)、準則和指標三者,各像樹根、樹幹和樹枝的樹狀結構關係,愈往指標端發展,愈須具體明確。

表一 評鑑問題、準則和指標三者的目的與示例

指標多元才能兼容並蓄 促進受評單位朝多元適性發展

大學校、院、系、所和班制所提供的教育要重視適性揚才,本身也該適性發展、發揮特色。因此,這種多面向的教育需要多元化的評鑑指標。多元化的評鑑指標至少須涵蓋和調和下列指標類別:

1.核心與特色指標——兩者該像雞蛋中的蛋黃和蛋白一般,蛋黃部分為適宜全國(或全校等)一致的核心指標,蛋白部分為因系所(或班制等)制宜的特色指標。

2.量化與質化指標——兩者該像太極中的陰和陽,但陰中有陽,陽中有陰。例如「本班制的學生/合格教師比」是量化指標,須能精確計算;「本班制學生受益於合格教師情形」則是質化指標,須能明確陳述。

3.回顧與前瞻指標——前者著重過往的績效表現,如「前三年畢業生的立即就業率」;後者著重有助未來成功的要素,如「中長程發展計畫中已具體規劃適切資源投入」。

4.產出與影響指標——教育的週期含CIPPI(C-Context:背景、I-Input:投入、P-Process:過程、P-Product:產出,和I-Impact:影響)等階段,指標除需關照各階段的分析與評估外,尤應著重與調和後二階段。

5.直接與間接指標——係分指可以和無法直接測量的指標,前者如「學生申請進住學校宿舍的成功率」;後者也含涉及敏感事務的指標,如「董事會介入校務運作情形」。

指標精簡才能降低受評單位負荷 減免資源浪費

指標多元化容易造成指標大量化,指標多固然有助交叉檢核和強化證據,但指標過多則會大幅加重資料蒐集的負荷,且常讓評鑑問題的回答變得膚淺和不清(European Commission, 2006)。

「80/20法則」(The 80/20 Rule)主張找出只用20%的投入就會有80%產出的關鍵生產因素,並在達到最佳績效時減少資源損耗,但對其餘80%的投入只產出20%的生產狀況進行改善,使之發揮效用。此一法則對建立評鑑指標的意涵,是要積極找出最能符應受評單位成功準則的關鍵指標。

高教評鑑中心將廣徵博引 致力於評鑑指標多元化和精簡化

本文論述可供大學校院和專業評鑑機構建立評鑑指標時參考。筆者服務的高教評鑑中心接受教育部委託辦理高教體系大學校務和系所評鑑,一直致力於評鑑指標的多元化和精簡化。就其中自101年度啟動的第二週期系所評鑑而言,在五個評鑑項目下設計有對應的「參考效標」。各受評單位可依學校發展定位及受評單位獨特運作模式,增刪參考效標,再根據參考效標,提出量化數據或質性證據說明品質,做為受評單位進行自我評鑑與評鑑委員實地訪評之依據(王保進,2012)。這種尊重辦學自主和多元價值的參考效標是以問句呈現,形式上較傾向是本文前述的評鑑問題,而非評鑑指標。

高教評鑑和高等教育一樣,都需要持續改進,止於至善。所以,高教評鑑中心會在兼顧同一週期各系所評鑑項目與效標的一致性下,廣諮博採,致力於更多元和更精簡的指標建立,應用在下一週期。

◎參考文獻

王保進(2012)。第二週期系所評鑑認可關鍵要素解析。評鑑雙月刊,35,46-50。

European Commission. (2006). Evaluation indicator. Retrieved from http://ec.europa.eu/europeaid/evaluation/methodology/methods/mth_ind_en.htm

 列印 |  轉寄好友 |  Top |  回首頁

本期目錄
-本期目錄
單元相關文章