財團法人高等教育評鑑中心基金會  

 

如何提高評鑑的正確性?
文/劉維琪
  高等教育評鑑中心董事長

高等教育評鑑中心去年底公布新一波系所評鑑認可結果,有名校系所因為未能獲得認可而有不同意見,社會也為之側目。一種說法開始流傳:某些名校的系所只是因為沒有花時間悉心準備評鑑,故無法通過評鑑認可;但實際上那些系所的學術表現,卻可能超越許多有準備且被認可通過的系所。意思就是對評鑑中心的公信力有所懷疑。

評鑑靠事證 資料應準備充分

這其實是種直覺的謬誤想法。假設「名校沒通過評鑑就是評鑑錯誤」的邏輯得以成立,那是否大家所公認的名校就不必評鑑了?或者即使評鑑也一定得讓它通過,以免評鑑被質疑,則這樣的評鑑是否又與流於形式無異?名校又如何能精益求精?相信這應非實施大學評鑑的初衷,也非社會大眾想要得到的結果。

實施大學評鑑的目的,就是希望透過外部評鑑瞭解學校辦學狀況,作為協助學校改進與提升教學品質的參考。而評鑑結果的產生是從「事證」而來,事證如何呈現,又有賴受評系所如何準備資料「端菜上桌」。觀諸中外所有評鑑的實施,對受評單位準備資料是一致性的要求,因為評鑑委員實地訪評的時間有限,委員只能從系所提供或展現的事證,來判斷該系所自評報告的內容是否屬實。

因此,系所理當準備充分的資料供評鑑委員檢視,評鑑委員不能單憑看不到也摸不著的「印象」、「公認」或「風評」,就讓系所認可或不認可。這就好像參加大學入學考試,閱卷委員只能根據考生當場作答的內容決定分數高低,若考生準備不足表現失常,分數也不可能憑「空」加上去。

增加事證、齊備資料 降低評鑑錯誤

再從統計學分析,評鑑錯誤若會發生,有兩種可能:一是該認可而未被認可,這叫做「型一錯誤」;二是不該認可卻被認可,則屬於「型二錯誤」。然根據統計理論,當樣本數固定,型一錯誤與型二錯誤之間會有抵換關係,也就是降低型一錯誤就一定會增加型二錯誤,反之亦然。因為若要減少型一錯誤,不讓該認可的系所不被認可,就得放寬評鑑標準,則勢必導致型二錯誤(不該認可的系所被認可)的增加;反之,若欲減少型二錯誤,就得讓評鑑標準趨嚴,則又會造成型一錯誤(該認可的系所不被認可)機率上升。

若要降低評鑑錯誤的機率,有效方法不是調整評鑑標準,而是增加樣本數。根據統計理論,只有當樣本數夠大,樣本分佈(sampling distribution)才能與母體的分佈趨近,也就更能精確推論母體的狀況,進而減少型一與型二錯誤的機率。而增加樣本數的方法就是增加事證,系所應儘量提出說明和證據,來佐證自評報告的內容,當可供評鑑委員判斷的資料愈充分,評鑑錯誤發生的機率就愈小。

當然評鑑資料準備愈充分,所需花費的時間與人力就愈多,有些學校因為準備系所評鑑,搞得教師與行政人員精疲力竭人仰馬翻,這也不是評鑑中心所樂見。評鑑資料應是平日逐步累積的,臨時抱佛腳對教學品質的提升沒有助益。但到底需要多少資料評鑑委員才能接受,還需要進一步規劃。

研議賦予評鑑委員「延後評鑑」的機制

事證不足無疑導致評鑑難度增加。為避免評鑑委員因資料不足給予系所「待觀察」或「不認可」的決定,造成對系所不通過評鑑的傷害,評鑑中心似可研究賦予評鑑委員「延後評鑑」的機制,若實地訪評時發生受評系所資料、事證準備不足,導致評鑑難以執行,評鑑委員即可宣布取消評鑑,下次再評。評鑑結果公布時,並會公布該系所延後評鑑的理由。而延後評鑑可能導致的後果,包括缺乏認可結果是否會影響主管機關的行政處置等,都應由受評系所自行負責。

欲提高評鑑正確性還有其他方法,譬如持續不斷地進行評鑑委員專業訓練,這點評鑑中心已在進行。另外則是提高評鑑程序的嚴謹度。目前評鑑中心已事先提供評鑑委員建議名單,供系所提出委員迴避申請;其次,評鑑結果的決定更需經過三道審查程序,分別為:實地訪評委員建議評鑑結果後,須先經學門認可初審小組審查,再由認可審議委員會確認;最後,評鑑結果公布時,將評鑑報告、學校申覆意見與評鑑中心對申覆意見的回應報告一併公布於網站。這些都是提高評鑑程序嚴謹度、提高評鑑正確性的現行作法。

 列印 |  轉寄好友 |  Top |  回首頁

本期目錄
-本期目錄