財團法人高等教育評鑑中心基金會  

 

第二週期大學校務評鑑實地訪評問卷調查結果探析
文/林劭仁
  高等教育評鑑中心品質保證處處長
 /許耀宇
  高等教育評鑑中心專案助理

第二週期大學校務評鑑分106年與107年二個年度進行,目前正進行107年度上半年評鑑,而106年度則已完成33所大學院校的實地訪評作業。為了解各受評學校教職員生對於此次評鑑相關內容的意見,高等教育評鑑中心於實地訪評結束當日會請學校協助填寫「實地訪評小組問卷調查」,問卷內容共有11題,其中9題為同意度調查,採五等第方式填答(1為最低、5為最高);最後2題為開放式問答題,兼有量化與質化資料,以蒐集受評學校對訪評小組、本週期評鑑及下一週期評鑑的即時回饋意見。

每校各以發放9份問卷(分校發4份)為原則,受訪人員依身分別分成一級行政單位主管、一級學術單位主管、教師、行政人員等四類。經回收後有效樣本共301份,樣本分布如表一。以下分別說明量化數據與質化意見的分析結果。

表一  106年度校務評鑑問卷調查樣本分布

評鑑項目指標與實地訪評小組之適切性

問卷中前9題為同意程度調查,各題項平均數與排序結果如表二。

表二  問卷各題項平均數計算結果與排序

● 評鑑委員訪評行為表現獲學校高度認同

由表二可看出,大部分的受訪人員對於整體流程安排、實地訪評小組及品保專員或助理在訪評期間的行為滿意程度良好,平均同意度達4.63。各題項平均數最高者為Q6「實地訪評小組能全程參與評鑑行程且克盡職責」(4.77),其次為Q7「實地訪評小組在實地訪評期間之行為妥適合宜」(4.75),顯示出訪評委員在訪評過程的行為獲得受訪者頗高認同。而平均數最低的題項為Q2「校務評鑑四大評鑑項目及14項指標內容設計規劃合宜」(4.40),顯示受訪者對評鑑項目與指標規劃的滿意度相對較低。

此週期校務評鑑的評鑑項目由原先第一週期的五大項減為四大項,評鑑指標由48個降低成14個,此規劃原本是希望透過評鑑指標的整合與精簡來減輕學校準備的負擔,並給予學校更多自主的說明以彰顯特色。不過,結果顯示受評學校對此調整並非滿意,可能原因在於雖然指標數變少,但需準備的範圍與內容依舊,反而在文字呈現時需更有系統與組織,增加了撰寫上的難度,故如果僅是項目與指標數的降低,對減輕學校準備負擔的效果仍有待商榷。

此外,項目與指標的內容是否清楚明確,是否能夠反映出學校辦學實況,也都還需要更深入的探討與發展。

● 擴大評鑑委員候用名單資料庫是未來重點

同意度排序次低的是Q3「實地訪評小組成員之組成適切,能勝任實地訪評任務」(4.55),但因為排序第一的Q6與第二的Q7也都是訪評小組的題項,亦即最高和次低都和訪評小組有關,乍看之下讓人覺得困惑,但若與開放問卷中的質性意見一起分析,則可約略發現原因。主要因106年度受評學校中不乏宗教、空中大學與軍警類校院,而Q3是關於實地訪評小組的組成,故有些受訪人員認為部分評鑑委員的專業背景和學校屬性並不一致,例如:「……宗教研修學院屬性特殊,評鑑委員若無相關背景或經驗,會較具挑戰。」、「本校教育體系與一般大學和技職校院截然不同……,委員是否具有……等相關背景,會有很大關聯。」

目前高教評鑑中心遴聘校務評鑑委員的原則,包括教授以上資格、曾任或現任大專校院的一級主管等,此些規範為確保委員資格與專業,但也限制了委員的來源,影響特殊屬性學校在評鑑委員遴聘上的難度。如何擴大評鑑委員候用名單資料庫,提升實地訪評小組成員組成之適切性,是高教評鑑中心必須持續努力的重點。

● 提升品保專員的專業素養及表現

表三為不同身分別在各題項平均數的差異,可發現整體來看,一級行政主管同意度普遍較高(4.70),行政人員則最低(4.54)。以變異數分析檢定各題項的差異,僅Q7、Q8與Q9達顯著水準,再以scheffé法事後比較,Q8與Q9皆為1>4,代表第8與第9題一級行政主管的同意度顯著高於行政人員。

表三  不同身分別各題項變異數分析結果

Q8與Q9主要是高教評鑑中心品保專員的行為與表現。一級行政主管為學校管理階層,對於校務評鑑較為熟悉,可能對品保專員工作有較高的包容度;而行政人員可能因需承擔較多的資料準備等行政瑣事,也必須在品保專員的要求及催促下完成工作,增加不少壓力與工作量,故呈現較低的同意度。

此結果也提醒高教評鑑中心必須更重視品保專員的專業素養與表現,及良好的態度與表達,期能在評鑑要求與受評學校需求間擔任好溝通與協調的角色。

開放性意見歸納結果

在問卷開放題項中,對評鑑給予肯定、鼓勵與建議的意見皆有,經整理出37個意見可歸納為四種類型,各類型次數與所占比例如表四。其中最多的是「評鑑內容與項目」類,約占54.05%,主要為學校對評鑑內容、設計與項目的相關意見,例如:「評鑑要能尊重學校特色發展,避免以齊一式的標準檢視」、「能配合學校特殊屬性,彈性調整訪評規模」、「不同屬性大學應有專屬評鑑項目與指標」、「應設計讓學校更能彰顯特色的項目指標」、「訪評第一天晚上加班回應待釐清問題的必要性」等。

表四  問卷開放題項的歸納結果

其次是關於訪評時的「時程與時間」,約占24.32%,包括訪評各階段時間安排上的意見。例如:「分組座談及參訪時間可更長,以利深入了解學校狀況與困難」、「參觀學校相關設施最好能延展至50-60分鐘,再依各校校園大小安排路線」、「訪評最好是一天,重點式評鑑即可」、「訪評盡量不要安排在學校招生期」等。

有關「評鑑運用與後續」的意見約占16.22%,包括:「因應少子化的重大變動,校務評鑑應如何發揮功能來協助高教品質維繫」、「希望能給學校多項正面意見,若其他學校有好的方法或成效,也應提供參考」、「評鑑的信度與效度應分析並公布」等。而有關「評鑑委員」的意見,則有「適度增加相關專業領域的評鑑委員」、「評鑑委員的性別比例也應注意」等。

最後歸類為其他的意見則包括:「評鑑以不妨害學生上課或學習原則,……建議不要進入課室」、「儘量開放自我評鑑,高教評鑑中心站在指導角色即可」、「受訪老師完全沒被通知,應改進」等。

此些實務上的意見涵蓋了評鑑項目、評鑑時程、評鑑委員及制度設計的細節,若能於今(2018)年度改善且不影響學校準備者,高教評鑑中心會直接修正;若尚需更多討論與共識者,則會列入下一週期規劃時再行參考。

持續蒐集學校意見  協助完成評鑑工作

綜觀此次問卷調查,對訪評小組與品保專員的表現大致滿意,惟在評鑑項目與指標、訪評小組成員組成上仍有改善空間;而受評學校也提出關於評鑑內容設計與時間流程安排等建議。高教評鑑中心會持續蒐集受評學校意見,作為評鑑制度檢討與改善的參據,今年也會更謹慎於委員組成與時間掌控,協助各校更順利的完成評鑑工作,同時提供辦學上專業與實質的助益。

 列印 |  轉寄好友 |  Top |  回首頁

本期目錄
-本期目錄
單元相關文章