財團法人高等教育評鑑中心基金會  

 

如何降低評鑑偏誤
文/劉維琪
  高等教育評鑑中心董事長

系所評鑑第一週期已近尾聲,高等教育評鑑中心經過內部檢討與彙整各界意見發現,大學對於以「認可制」的方式進行評鑑都已有所共識並深表肯定,認為可給予學校更充分的彈性,制度推動上也沒有問題;唯獨在評鑑委員的部分,學校認為仍有改進的空間。

透過評鑑制度與程序設計 降低評鑑心理偏誤

評鑑中心認為,在操守上,評鑑中心對每一位評鑑委員都有十足的信心,並已做好防範機制,所有委員於遴聘前均應簽署「評鑑倫理與利益迴避同意書」,若有違反倫理等情事,須自負法律責任。所以評鑑委員的操守沒有爭議。

比較需要解決的問題,則是在評鑑過程中,委員對於評鑑的決策與判斷,是否會令學校無法接受。在回答這個問題前,我們先從心理學上加以探討。根據心理學家研究,只要是正常人,在做決定或下判斷時都難免會出現心理偏誤,評鑑委員也不例外。然而,儘管這是每個人不可避免的現象,仍然可以透過一些方法加以降低。以下舉例說明常見的心理偏誤,以及如何透過評鑑制度與評鑑程序的設計,將評鑑委員發生心理偏誤的可能性降至最低。

六種心理偏誤與矯正措施

一、過度自信偏誤

評鑑委員對於自己的專業相當有自信,有時便憑藉個人的直覺做推理判斷,或者堅持己見,此稱之為「過度自信偏誤」。為降低此種偏誤的產生,評鑑中心對於訪評小組召集人都會特別悉心挑選,不是資深即可擔任,還必須具備客觀、善於整合眾人意見、不堅持己見等人格特質。同時藉由召集人說明會的舉行,再次強調召集人的角色與職責,務請每位召集人扮演好整合意見的角色。

二、代表性偏誤

有時評鑑委員在訪談時,會將個別師生對某個特定事件的意見寫入評鑑報告中,犯了以小樣本代表母體的「代表性偏誤」。為防止此類偏誤出現,評鑑中心一再提醒評鑑委員,對於從各種管道蒐集得來的意見,都須經過求證,並證實屬於系所或學校應全面改善的「系統性問題」,而非少數個體的一己之見,才可當作正式的評鑑意見。

三、定錨偏誤

部分委員在評鑑時,有時會將受評對象與心中的理想學校-尤其是名校做比較,因而挑剔受評學校的辦學成果,忽略了每所學校都有自己的任務、功能與角色,這就是「定錨偏誤」。評鑑中心已不斷透過研習課程、行前說明會與評鑑刊物的宣導,呼籲評鑑委員尊重系所的自我定位與發展,將評鑑重點定錨在每個系所的教育目標與辦學理念上,而不要定錨在自己心中的理想大學。

四、可取性偏誤

由於學校準備好現成、量化的資料,往往比質性、需要親身觀察、訪談得來的資料更容易取得,若有委員因此喜歡以量化指標做判斷,忽略了質化的部分,則會發生「可取性偏誤」。評鑑中心並不鼓勵委員以量化資料作跨校比較,而應確實掌握認可制著重自己與自己相比的精神,即使採用量化資料,也應是受評學校過去與現在的自我比較,而非與他校一較長短。

五、維持現狀偏誤

另一種是「維持現狀偏誤」,譬如評鑑委員對於某學門或領域的發展方向,認為應符合大多數人對該學門領域的認知以及該學門領域多數的發展,若有系所打破現狀則不予認同,會去質疑這不該是此學門領域應有的發展方向。然而,社會不斷變遷與進步,評鑑委員應嘗試接納有創意與特色的系所,勿犯了維持現狀偏誤。預防之道,評鑑中心於委員實地訪評之後,另設有「學門認可初審小組」嚴加把關,避免評鑑委員出現維持現狀偏誤,影響到評鑑結果。

六、窄化框架偏誤

如果有評鑑委員喜歡以少數幾個特定指標進行評鑑,當特定指標表現不好,即以偏概全論斷整個系所的表現都不好,此即是犯了「窄化框架偏誤」。其實,只要系所能達成教學目標,評鑑委員大可衡酌實際情形給予認可,不必拘泥於一個框架。例如某系的生師比不佳、專任教師數少,但外聘的輔導師資與兼任教師很多,則仍可順利完成辦學目標,委員不需因為該系所不符合特定的「框架」而給予不通過。評鑑中心呼籲所有委員,若有窄化框架的習慣,也應改以「學生學習成效」為框架,而不要再以輸入性指標作為評鑑框架。

團體溝通加上嚴謹評鑑程序 有效消弭評鑑偏誤

根據心理學研究,人的行為與決策判斷很自然地受心理偏誤影響,欲防止評鑑產生各種偏誤,有效的解決之道,莫過於靠團體溝通,以及嚴謹的評鑑程序與制度設計。

經由團體溝通,評鑑委員可以充分討論,指出彼此的盲點,降低評鑑偏誤;評鑑中心也已建立評鑑認可基準尺規,使委員在討論時有明確的基準可以依循。自今年校務評鑑開始,評鑑委員更須事前提出待釐清問題與個人意見,於實地訪評前召開會議充分討論,針對訪評時的重點與應提出的問題凝聚共識,以客觀、重要、非個別針對性、不增加學校負擔為原則。訪評之後則有學門認可初審小組或認可審議委員會負責把關,多管齊下消弭可能的評鑑偏誤。

 列印 |  轉寄好友 |  Top |  回首頁

本期目錄
-本期目錄