財團法人高等教育評鑑中心基金會  

 

「認可制評鑑」評鑑標準規劃原則探析
文/池俊吉
  高等教育評鑑中心助理研究員兼研究規劃組組長

依據大學法第5條規定,「大學應定期對教學、研究、服務、輔導、校務行政及學生參與等事項,進行自我評鑑;其評鑑規定,由各大學定之。教育部為促進各大學之發展,應組成評鑑委員會或委託學術團體或專業評鑑機構,定期辦理大學評鑑,並公告其結果,作為政府教育經費補助及學校調整發展規模之參考;其評鑑辦法,由教育部定之。」從大學法的說明,可以了解我國大學評鑑之目的在促進大學發展,及作為政府經費補助與調整大學發展規模之參考,且屬於政府主導的強制性評鑑。由於評鑑結果可能牽涉到政府經費補助及各大學發展規模,因此各大學對於評鑑標準與評鑑結果的認定均十分重視。

此外,目前教育部進行的評鑑與訪視共計42項,現正積極規劃整合至10項,各項評鑑中的名詞皆有不同,最常出現於實施計畫、評鑑手冊及研究文獻中的名稱為評鑑項目(item)、標準(standard)、效標(criterion)及指標(indicator)等4類,因常常彼此混用,造成評鑑工具體系的不健全情形,也易造成受評單位誤解。尤其是現在我國大學校院評鑑廣泛使用的評鑑效標(evaluation criterion),其數量多寡亦成為各大學關心的話題,紛紛依據自身的觀點提出各項建議;有些學校希望評鑑效標盡量完整一點,最好是做到讓學校能依樣畫葫蘆,只要依據評鑑實施計畫或手冊上的效標來進行評鑑就能過關;有些學校則認為評鑑效標應該愈少愈好,讓學校能夠根據自身的教育目標與發展特色來訂定效標,這樣才能達到評鑑的目的。

有鑑於此,本文先針對評鑑實務規劃時相關的評鑑名詞做說明,再舉美國與我國高等教育評鑑機構認可制標準訂定實例,最後提出評鑑標準的規劃思考原則。

評鑑效標與評鑑指標的差異

就評鑑實務規劃而言,不論是採用CIPP(Context, Input, Process, Product)模式或PDCA(Plan, Do, Check, Act)品質保證模式,評鑑目的(goal)皆是評鑑施行的依歸;確定了評鑑目的之後,才能訂定評鑑取向(approach);有了評鑑取向就可以訂定評鑑標準與內涵(content);評鑑標準與內涵確定了,評鑑要素(element)就可以分離出來;評鑑要素依其性質,可量化的要素即可發展成為「評鑑指標」,不能量化的要素就採取質性描述的方式來呈現。而「評鑑效標」則是一個依據評鑑目的事先規劃的判斷基準,是決定評鑑標準能否達成評鑑目標的依據。依此,可以形成一評鑑標準意涵圖(圖一)。

圖一 教育評鑑標準意涵圖

在這樣的架構下,因應各國國情與評鑑規劃理念,位居最上位的評鑑標準,會以評鑑項目(如我國大學校院校務及系所評鑑)或認證規範(中華工程教育學會,2011)來表示,不一定會針對評鑑內涵與評鑑要素做說明,可能僅呈現評鑑項目、標準或規範下應完成之效標,用以判斷此標準之達成與否。「評鑑效標」通常為評鑑機構或組織判斷評鑑結果的依據,因此會有明確的指導方向與要求,以利後續價值判斷。而「評鑑指標」則是針對標準具體可量化的要素,通常都有明確的操作型定義。

由此可知,評鑑效標的設定須視評鑑目的、評鑑取向及評鑑標準而定,而非多或少的考量。

認可制評鑑標準訂定實例

我國自高等教育評鑑中心2005年成立以來所進行的大學校院系所評鑑與校務評鑑,即採用美國認可制的評鑑方式,因此本文以美國西部校院協會(Western Association of Schools and Colleges, WASC)之大學效能評鑑與評鑑中心規劃的大學校院校務評鑑,進行標準訂定實例說明。

1.美國西部校院協會(WASC)

WASC成立於1962年,主要負責加州、夏威夷州、大洋洲諸國及遠東地區之美國大學校院與中小學之認可評鑑事宜。該協會對於大學的最新認可標準於2008年通過,分成4個認可標準,包括「界定大學宗旨並確保教育目標」、「透過核心功能達成教育目標」、「發展並運用資源與組織結構,以確保永續性」及「創造一個致力於學習和改善的組織」。因其為認可制取向的評鑑方式,為協助受評校院解釋以及應用認可標準,認可委員會制訂了認可標準欲達成之目的,以及認可標準之架構。

(1)制訂認可標準之目的

WASC制訂認可標準之目的包括:

1.引導學校自我評鑑,並當作評估學校表現和改善之依據。

2.提供學校一個對認可委員會及訪視小組呈現資料的架構。

3.作為學校評鑑過程中,評鑑小組判斷的依據。

4.提供認可委員會作為形成認可結果的基礎,以及學校後續改進行動的依據。

5.定義學校品質與教育效能,以及提供學校推動品質改善實務的優良範例。

(2)認可標準架構

每一個認可標準都由以下互相關連的要素(elements)組成,包括標準、效標、指引(guidelines)。每個標準都會始於內涵(statement of standards),用以定義判斷的依據。其次,每一個標準下還有2到數個主要範疇(major categories),用以呈現此標準的重點。

每一個重要範疇下都會有不同數量的效標,用以點出評鑑標準的關鍵部分,其意義在於支持認可的基本決定,以及讓認可委員會依此提出對學校表現之有效評判。

而評鑑標準乃提供評鑑機構所期望之格式或方法,來展示學校對評鑑效標的表現。僅以標準一:「界定大學宗旨並確保教育目標」為實例說明(WASC, 2008)。請見表一。

表一 美國WASC認可標準

2.我國一般大學校院校務評鑑

2011年施行之一般大學校院校務評鑑,亦符合評鑑標準規劃原則,僅以項目一「學校自我定位」為例,說明評鑑中心的認可標準架構,包括評鑑項目、內涵、最佳實務、參考效標,以及建議準備的參考資料(高等教育評鑑中心,2010)。請見表二。

表二 100年度我國大學校院校務評鑑項目

臺美認可評鑑標準比較

WASC認可標準因應美國大學教育環境的變遷,也已經修訂多版,認可目的亦從符應門檻(gate -keeping)為中心、改善(improvement)為中心,到更重視以績效責任(accountability)為中心的認可角色。若對照2001年版與2008年版的WASC評鑑標準,可以發現有幾項變革,包括指導原則的減少,以及取消引導學校準備認可之相關提問。從評鑑標準架構以及內容的改變,可以看出認可制評鑑必須隨著學校的成長而有所調整,若學校已經充分了解效標的意義,就無須提供指導原則及提問。

相較於WASC評鑑效標指導性的作法,評鑑中心規劃之參考效標採用問句方式呈現,由學校自行提出證據與合適作法即可,並無強制性的指導原則,似乎較之WASC的規劃方式更符合認可制自我管制之精神。

評鑑標準規劃的考量原則

綜合上述討論,評鑑標準規劃可以從以下的考量來著手,包括評鑑目的與效標的對應、評鑑制度熟悉度、評鑑委員專業及確保評鑑效度等。

1.評鑑目的與效標的對應

評鑑目的會引導評鑑模式的運用及評鑑標準的規劃與設定。我國一般大學校院自2005年高等教育評鑑中心成立以來所施行的系所評鑑,以及2011年施行的校務評鑑,皆採用認可制評鑑,技專校院則採行等第制的評鑑制度,兩種評鑑之評鑑目的不同,因此評鑑標準與評鑑效標的設定也會有所不同。

從評鑑目的而言,認可制評鑑重視的是教學品質的持續不斷改善,而等第制評鑑較重視辦學績效責任的展現,兩者評鑑目的與功能不同,評鑑標準自然應有差異;也因為評鑑標準的不同,評鑑效標的運用會有區別;認可制評鑑採用自我參照的方式,評鑑效標較有彈性,可依學校系所特性進行調整;等第制評鑑因牽涉到績效比較與等第的歸屬,因此效標會有一個固定統一的架構,以利評鑑委員判斷與比較。

但因國內大學經過30餘年的績效評鑑洗禮,對於評鑑效標已經有一種共同的思考架構,以及誤以為只要完全照效標去對應,應該就會通過的心理,因而不願陷入不確定的情境中,故不論評鑑中心如何努力說明,學校的自評報告及相關佐證資料,仍以評鑑中心公告的參考效標去準備,不敢貿然增加或減少,以致常使評鑑中心陷入主導學校發展方向與參考效標沒有彈性的批評當中。

2.評鑑制度的熟悉度

目前評鑑中心採行的大學校院校務評鑑及系所評鑑,乃以認可制評鑑為依歸,並不是過去強調績效的等第制評鑑,雖經5年的辦理,仍有學校不甚了解認可制評鑑的意涵,在於自我提升與自我比較,對於評鑑效標的自我界定仍不甚了解,因此,評鑑中心仍然規劃參考效標,提供各校一個共同的參考架構。然第二週期系所評鑑之效標較之第一週期已經減少50%左右,顯見評鑑中心已了解學校在教學輸入面之成長,因而透過效標的降低,減輕學校的負擔,並引領學校自我訂定效標,及給予多元表現特色的空間。

3.評鑑委員專業

評鑑委員是評鑑結果審查與決定的第一線人員,對於評鑑目的以及評鑑效標的運用專業,會影響評鑑結果的產生,因此,評鑑中心已經透過實施計畫說明會及評鑑委員研習課程(3門評鑑專業課程及1門評鑑選修課程)等方式,提升評鑑委員的評鑑專業,讓評鑑委員充分了解評鑑目的與效標的意義,使評鑑更趨完善。

4.確保評鑑效度

欲了解評鑑是否達成其評鑑目的與宗旨時,必須確保評鑑標準效度的建立是有所依據的,尤其是以質性判斷為主的認可制評鑑,更需要運用合宜且有鑑別性的評鑑效標來確保評鑑的有效性。這也是為何目前各國運用認可制評鑑的評鑑機構,都會訂定評鑑效標的原因,目的在確保一個共同的評估以及判斷標準,以提升評鑑的效度與受評單位對評鑑機構認可結果的信心。

納入辦學品質規劃 是大學評鑑努力的方向

評鑑標準規劃會隨著時空背景的不同而有不同的思維。以大學校務評鑑為例,如果學校經過強制性外部評鑑的協助後,已經了解自身辦學的優劣勢、機會以及轉機,進而成熟到將評鑑納入校務規劃與推展的一環,以學校自我評鑑來取代外部評鑑,屆時就不用再去計較評鑑標準是什麼、評鑑效標有多少、參考效標到底是不是參考用,而是去考量與設計真正能對自身辦學規劃以及辦學成效有效的檢視與提供改進契機的標準。而評鑑機構僅扮演外部諮詢或輔導的角色,提供學校另一專業管道,確認其發展方向的可行性與適切性。

◎參考文獻

高等教育評鑑中心(2010)。大學校院校務評鑑實施計畫。臺北市:高等教育評鑑中心。

中華工程教育學會(2011)。中華工程教育學會認證委員會工程教育認證規範(EAC 2010)。2011年9月10日擷取自http://www.ieet.org.tw/default.php?no=au_03_1

WASC. (2008). Handbook of accreditation 2008. Retrieved September 10, 2011, from http://www.wascsenior.org/findit/files/forms/Handbook_of_Accreditation.pdf

 列印 |  轉寄好友 |  Top |  回首頁

本期目錄
-本期目錄
單元相關文章