財團法人高等教育評鑑中心基金會  

 

評鑑報告之質性資料分析:以第一週期校務評鑑為例
文/林劭仁
  高等教育評鑑中心品質保證處處長
 /林本炫
  國立聯合大學文化觀光產業學系教授
 /許耀宇
  高等教育評鑑中心專案助理

國內一般大學評鑑自95年系所評鑑開始,主要分成校務評鑑與系所評鑑二個脈絡進行。在歷經兩個週期的系所評鑑及第一週期校務評鑑後,高等教育評鑑中心已產生並累積許多評鑑作業的相關資料,包括評鑑作業規劃、評鑑委員資訊、評鑑報告與結果等,除了計畫、文件表格、結果等已公告於高教評鑑中心網站供大眾閱讀下載外,評鑑委員撰寫的評鑑報告則儲存於中心的資料庫中。

有鑑於國內校務研究正蓬勃發展,資料的量化與質性分析可提供教育現象的解釋與政策推動參據,高教評鑑中心也開始逐步整理過去十年所累積的資訊,著手建置大學校院評鑑資訊資料庫,希望透過分析的歷程,了解評鑑過程的問題及產生評鑑判斷的結果,作為後續評鑑規劃與改進的依據。

此外,高教評鑑中心也整理校務與系所務治理經營的優缺點,提供大學針對缺失擬定具體改進的參考,藉由評鑑資訊的解讀與建議,提升歷史文件與評鑑資料庫的品質與應用價值。

目前第二週期校務評鑑正進行中,故高教評鑑中心以第一週期校務評鑑報告為例,整理報告資料並分析出有價值的資訊,提供大學參酌,以達校務研究鑑古知今的功效。

校務評鑑報告質性資料分析

過去歷次校務評鑑或系所評鑑的報告書,皆是以WORD檔案格式或者PDF檔案格式儲存,雖然可以隨時於電腦上查閱,但是一來缺乏精確的量化數字,僅有各評鑑項目的「通過」、「有條件通過」、「未通過」數目,或依此計算出的通過率而已,偏於表面現象敘述,無法進行深入性分析;二來評鑑委員報告撰寫使用專業用語及習慣用法的多樣性,除了一般民眾不易閱讀,專家學者在研究分析及解讀上也頗為不便。

因此,如果能由品保機構主動分析評鑑委員撰寫的報告,把歷次校務評鑑報告書或系所評鑑報告書建置成質性分析軟體的格式,則會比較容易進行跨校比較、跨年度比較,研究分析也較為深入及有效率。

本文採用質性分析軟體MAXQDA進行內容分析,此軟體具備快速處理大量訪談材料的能力,適合對較大樣本的校務評鑑報告進行歸納與整理。而在編碼類目的建立、整併和調整階層方面,MAXQDA也具有快速和方便的特性,亦可針對資料分析結果以視覺化介面呈現,或以數字呈現各個類目的分布情形。

此外,在編碼員的參與上,先由高教評鑑中心專員進行初步歸類與編碼,以界定分析單位;再由執行長、處長,及一位副研究員組成信效度小組,透過三次小組會議討論類目制定的分類結果,建立相互同意的基礎,最後再經專家會議提供修正建議。

至於研究樣本,考量動員的人力與勞力成本,以及分析結果的實用價值與貢獻度,本文僅先以第一週期校務評鑑五個評鑑項目中,獲得「有條件通過」與「未通過」的結果為分析對象。因「通過」的報告內容較屬正向意見或建議,考量分析的優先順序,故先予以排除,故本文內容及樣本遂界定為:第一週期校務評鑑五個評鑑項目中「有條件通過」與「未通過」的學校,分析內容則為各項目下評鑑委員所撰寫的「待改善事項」(缺失)。樣本分布如表一。

分類結果及發現

第一週期校務評鑑五個項目未獲通過的待改善事項數總計242項,研究小組在分類形成類目的過程中,考量的主要依據在於評鑑委員撰寫的待改善事項是否符合各項目原規劃的「參考效標」,若符合者則納入所編碼後的類目,若未盡符合則另行歸類處理。

未盡符合則可分成二類,第一類是內容不屬於本項目,應歸屬於其他項目,命名為「錯位型」;第二類是內容參雜其他項目,不易歸類,命名為「混合型」。編碼後的三種情形如表二所示:

(1)符合項目:待改善事項內容在此項目有對應的參考校標。

(2)錯位型:待改善事項內容對應到其他項目的參考效標。

(3)混合型:待改善事項內容參雜多個項目參考效標。

由表二可知,待改善事項符合原項目參考效標的有207條,約占整體85.53%,其中,項目二有49條,占該項目比例最高,為90.74%,比例最低為項目四的75.76%。而歸類至「錯位型」的部分共有27條,以項目四比例最高,約占項目四的21.21%。

所謂「錯位型」,以項目四「績效與社會責任」來舉例,此項目內涵上重視辦學成效與產出,而某待改善事項為「多元教學專業成長機制,如協同教學、業界參訪或實習等機制,尚未落實與實施。」此委員意見主要說明學校協助教師專業成長的機制尚待建立與落實,反而較符合項目三「教學與學習資源」下的「3-2.學校獎勵教師教學與研究卓越表現及協助專業成長之作法為何?」故編碼上歸類至錯位型。

而「混合型」意謂一項待改善意見混合了多個參考效標,或找不到對應的參考效標,導致分類困難。例如:某待改善意見為「該校雖訂有教師評鑑、職員考核制度,但教職員離職比例偏高,對教學、研究、服務品質及業務傳承,易產生負面影響。」因涉及教師評鑑(效標3-3);職員考核與業務傳承(效標2-4);教學、研究、服務品質(效標2-6、3-12)等多項效標,不易歸類,故納入「混合型」。

此分析結果的意義為,若百分比高,代表評鑑委員大致能依據參考效標提供訪評意見,避免寫出項目與效標以外的內容,可代表內容的精確性,同於效度的概念。而從前述分析中可看出第一週期評鑑報告在「校務治理與經營」項目下的效度較高,而「績效與社會責任」項目的效度較低。此發現可提供高教評鑑中心未來在規劃評鑑項目、效標與評鑑委員培訓的參考,除了必須讓評鑑項目與效標盡量清楚明確,以利委員依此進行價值判斷,提升其效度,也需加強評鑑委員培訓課程中,對評鑑項目與效標的說明與理解,畢竟評鑑工具(項目、效標、指標)愈加明確、清楚,也能降低學校準備的不確定性,並協助評鑑委員撰寫具體的訪評意見。

待改善事項分析

由於本文是以評鑑項目「有條件通過」或「未通過」結果為分析對象,故將這些學校的「待改善事項」意見進行整理分析,即可了解未獲通過學校的主要原因或待改善重點所在。

從表二可看出,所有242項的待改善事項中,以項目三最多,共有100項,而項目五最少,只有14項。可能因項目三原規劃有15項參考效標,為5項中最多,故產生最多待改善意見。反之,項目五原規劃僅有3項參考效標,其待改善意見也最少。以下以項目三為例,整理歸類結果如表三所示。

從表三可清楚看出100項待改善事項中,歸屬於「教師評鑑」此一類目的訪評意見最多,共有13項,此類目主要和週期性的教師評鑑制度有關,歸入的缺失包括「教師評鑑標準過低」、「未落實評鑑結果輔導機制」、「教師評鑑機制設計欠完整」、「教師評鑑機制未和學校定位配合」等;其次是「師資結構」,共有10項,歸入此類目的缺失包括「招聘原則與系所需求有落差」、「部分系所缺乏教授級教師」、「多數專業領域之專任教師仍少」、「部分系所師資不足」等。

再來是「教師專業成長」,共7項,歸入的缺失有「未建立教學優良教師機制與選拔標準」、「教學知能研習或演講活動出席率欠佳」、「無完整新進教師與職員專業成長輔導辦法」等。若再加上「教師教學與研究」的5項,此評鑑項目中和教師直接有關的待改善事項就高達35項,占項目三的三分之一,在整體五個項目中也占有15%,因此,「師資」相關問題可說是造成此項目待改善事項最主要因素。其次,「課程地圖」共有7項,「課程規劃架構」共5項,課程相關的待改善事項有12項之多,顯示與教學息息相關的課程規劃與開設情形也非常重要。再者,「學生安全」之待改善事項有7項,主要是學生宿舍之消防安全、學生在外賃居之安全以及交通安全等。

從這些分類結果可看出項目三「教學與學習資源」之重點在於師資、課程開設、學生安全,也可提醒大學校務治理上應著重於此些面向的投入與發展,強化教學與學習情境,若有未臻完整與不足之處,則很容易被評鑑委員列為缺失,甚至形成「有條件通過」或「未通過」的評鑑結果。

至於其他四個評鑑項目,項目一「學校自我定位」共有41項,歸入於「校務發展計畫」類目的最多,有11項,包括「校務發展計畫與學院發展關聯性不足」、「校務發展計畫目標與現況有落差」等;其次為「基本素養與核心能力」的7項,歸入的幾乎皆為校級基本素養、核心能力與學院課程關聯性不足方面的缺失。

項目二「校務治理與經營」共有54項,歸於「國際化相關機制」類目共有12項,數目頗多,主要是與國外學校及學術機構實質交流有待強化等缺失;歸於「校務治理」共8項,如「校務治理與經營仍欠缺明確達成期程」、「缺乏明確的願景管理指標」等。

項目四「績效與社會責任」有33項,主要在於「學生學習成效」7項,歸入的如「學生在務實及創新方面未有具體成果」、「取得證照人數逐年下降」等;而「教學評量」共有5項,包括「教師的教學評量過份依賴問卷以及滿意度」、「教學評量結果缺乏後續輔導機制」等。

最後,「項目五持續改善與品質保證機制」之評鑑效標僅有三個,故只歸類出三個類目,14個待改善事項則集中在「自我改善機制欠完善」和「與利害關係人的聯繫不足」等,在分類上也較為容易。

檢視過去評鑑結果  作為校務治理改進參考

綜上所述,研究發現可提供高教評鑑中心在規劃評鑑項目、效標與評鑑委員培訓時參酌,須透過明確的評鑑項目與效標以提升評鑑委員判斷的品質;而從未獲通過學校的待改善事項來看,也提醒大學在師資、課程開設、學生安全、校務治理、實質國際交流等方面持續改善。

高教評鑑中心也規劃將此質性分析的結果匯入到量化資料庫,完成量化資料和質性資料的對接,進一步發展更深入且務實的研究成果。不過,因受限於人力與投入時間,目前僅針對未獲通過的部分進行分析,其他通過評鑑之學校的評鑑報告書尚未能納入。但即使是評鑑通過的項目,仍有待改善事項,仍有分析的價值,未來高教評鑑中心會持續執行研究。

同時,由於校務評鑑和系所評鑑報告書的數量極為龐大,若要將這些報告書都納入分析並建置質性資料庫,勢必要有一批專業且嫻熟編碼分析的人員,因此,訓練一批素質良好及有效率的編碼員,也是研究發展時應同步進行的規劃。當然,最重要的目的仍是希望提供大學檢視過去評鑑的經驗與結果,從中發掘有價值的資訊,作為校務治理持續改進的參考依據。

 列印 |  轉寄好友 |  Top |  回首頁

本期目錄
-本期目錄
單元相關文章