財團法人高等教育評鑑中心基金會  

 

香港評鑑報告專業撰稿人制度
文/侯永琪
  高等教育評鑑中心研究發展處處長
  輔仁大學教師發展與教學資源中心主任
  林佳宜、游淑文、蔡雅文、王秀慧、王依蘋
  高等教育評鑑中心訪評專員

當高等教育品質保證制度已紛紛在世界各國建立之際,其評鑑的內容、過程及報告等品質之展現,即成為大眾更關注的重點。我國採專業同儕訪視之第一週期系所評鑑即將於今年年底完成,也獲得大多數受評學校的肯定,為了更增進未來整體評鑑的品質與公信力,高等教育評鑑中心已將評鑑委員專業知能的成長與評鑑結果報告品質的提升,列為日後首要改進工作,除舉辦相關評鑑委員進階研習課程,以提升評鑑委員專業知能外,針對評鑑報告的撰寫亦積極蒐集國外相關作法,做為未來規劃之參考依據。

綜觀亞洲鄰國的高教評鑑制度,在評鑑報告撰寫方面,就屬香港學術及職業資歷評審局(Hong Kong Council for Accreditation of Academic and Vocational Qualifications, HKCAAVQ)的專業撰稿人制度最具特色。評審局的評審主任雖屬機構專職人員,卻是評審小組成員之一,並負責統整其他評審小組成員之意見,撰寫成評審報告,既可使評審報告的論述更具前後一致性,也能讓評審小組成員更專注於專業知能的評斷,其評審報告內容更代表著評審局對大學的評斷。

為了更深入瞭解香港評審制度,做為日後國內改進的參考,評鑑中心特於今(2010)年8月12、13日,邀請評審局首席評審總監駱桂好女士主持為期兩天的「專業撰稿人培訓工作坊」,詳細介紹香港評審局的評鑑制度,包括評審原則及過程,以及如何使評審小組有效參與實地訪評,並撰寫一份好的評審報告。茲將香港高教評審與專業撰稿人制度的內涵重點整理如下。

評審小組之組成和工作守則

在「同儕評估」的原則下,要組成一個優秀的評審小組,必須邀集得以涵蓋各個受評單位領域的產、學界代表。小組成員除具相關的專業知識、背景和經驗外,在派任比例上,亦須均衡產、學界的人數,同時考量每位成員的經歷與受評單位是否具利益衝突。此外,基於評審小組人力發展的目的,每一階段的評審小組至少會包含一位無評審經驗之新成員,並安排具有相當經驗者擔任評審小組主席。每位小組成員皆須遵守評審局所訂定的工作守則(code of conduct),包括事先利益衝突之申報及終身保密承諾。

評審小組主席的角色和任務

評審小組主席為小組領袖,須領導小組順利完成評審工作。在進行實地考察前,評審局會先諮詢評審小組主席的意見,制定實地考察流程;於實地考察進行時,評審小組主席須帶領小組決定每個環節的討論要點,安排小組成員間之分工,並確保評審小組能按評審準則與受評單位充分探討各項評審疑慮,以進行有效的雙向溝通;最後在考察結束時,評審小組主席口頭向評審小組報告初步評審結論。

評審主任的角色和任務

評審小組成員中須包含一位評審局的專業職員-評審主任,其在評審過程中擁有投票權。評審主任在評審小組與受評單位間扮演重要的溝通橋樑,確保雙方瞭解各自的責任與義務。另外,評審主任亦須具備足夠能力以履行相關職責,除須十分瞭解香港學制發展、評審項目特點、評審原則及程序、資歷架構級別標準外,在評審過程中必須能適時協助評審小組完成評估,並在完成實地考察後,撰寫評審報告。

評審主任的另一項重要工作為輔佐評審小組主席。在實地考察前,須將每位小組成員的背景及經驗告知主席,並簡介受評單位的相關資訊。此外,協助主席介紹評審流程、各項目討論的重點、過往案例參考、「先設條件」及「必要條件」之決定,以及掌握考察的時間進度,確保評審小組符合一般守則,同時處理突發事項。

實地訪評流程

前置作業

在實地訪評(site visit)前,評審主任會協助評審小組主席再次敘明評審原則,並依照每位小組成員之專長,進行評審小組分工。評審小組須事前審閱所有相關文件,據此提出初步意見,並要求受評單位做出澄清或提交其他證明文件,受評單位將在進行實地考察前或期間對此提出初步回應意見。

實地訪評中

評審小組成員須參與所有的會議討論(包括考察前的預備會議),並依據制定的實地考察流程,與受評單位進行交流。評審小組成員須詳細、深入的審閱評審文件及證據資料,同時遵守「無意料之外的結果」(no surprise principle)之原則進行實地考察,以確保受評單位在整個評審過程中,有充足機會回應評審小組之問題或關注事項,並對相關建議提出辯解及說明。

過程中,評審局會提供清楚一致的評審原則,供評審小組及受評單位參考,以檢視受評單位能否符合「評審手冊」所明訂之最低質素要求。在全面瞭解後,評審小組會依照「基本標準」(threshold standard)的原則向評審局提出評審建議,且在「證據為本」(evidence-based principle)之基礎上,於受評單位提供充分證據後,才做出相關評斷,並達成初步的綜合結論。評審小組在實地考察結束前,將會與受評單位的高階管理代表見面,並就該次評審工作的觀察所得提出意見,但不會對評審結果作任何口頭陳述。

實地訪評後

實地訪評結束後,由評審主任彙整其他評審小組成員之意見,撰寫成評審報告,當中詳列評審觀察與建議,再由評審小組提交給評審局。評審局會參考評審小組之建議作出評審決定,並把決定列載於評審報告中。評審報告亦會明列評審決定的有效期,以及評審決定生效的附帶條件或限制。評審報告內容包含對受評單位的改善建議,惟這些建議並不影響評審決定。在發表評審報告前,受評單位將獲邀閱讀評審報告的初稿,以確定報告內容的準確性,並確認受評單位可否達成評審報告之「先設條件」及「必要條件」等要求。

評審結果認定標準

「評審結果」可分為「通過」(Approval)、「未通過」(Non-approval)、「有條件通過」(Approval with pre-conditions/Requirements)三種。

通過

評審小組如認為學校之缺失較為輕微,且不影響課程開設成敗時,則給予改善建議及通過之評審結果。

有條件通過

當評審小組認為學校之重大缺失(critical gaps)將嚴重影響其開設課程品質及學生學習成效時,評審結果通常為「先設條件」或/及「必要條件」之「有條件通過」,要求學校限期改善。一般而言,學校必須於一定期間內(通常為課程開設前)達成先設條件,方能授予通過資格;而必要條件則允許學校於通過認可後一定期間內達成,惟未確實達成必要條件時,其認可結果將遭撤回。

先設條件與必要條件可擇一或同時存在,且應於充分合理的證據分析後,清楚闡明條件要求,使學校能瞭解其缺失及可行之改善作法;此外,先設條件或必要條件應具有可行性及成敗評估性,方能評估學校之改善行為是否已滿足評審標準。

未通過

評審小組如認為學校具有重大缺失,且經評估未能於有限期間內進行改善以符合評審標準時,將給予未通過之決議。此時評審報告尤應闡明其證據基礎,確切說明與分析學校之重大缺失,俾利學校提出上訴時,評審局能有足夠之立論基礎據以答辯。

評審主任撰寫報告之注意事項

評審主任於撰寫報告時,應採正向積極的表達方式,且應確保評審小組意見之一致性與連貫性。在證據提出方面,應避免引用單一證據做為佐證或結論,例如僅透過一堂教學現場訪評或學生意見回饋所獲得之資訊;此外,亦應避免引用某人單向之意見、觀點或未經證實之資料。

在撰寫評審報告的過程中,評審小組應著重於學校之主要問題,且應遵守「無意料之外」原則,無論學校之缺失是否成為先設條件/必要條件之原因,皆應以具體簡潔之語句清楚表達評審小組所關注之焦點與問題,依據事實與證據合理分析,以提出可行之改善建議。

撰寫評審報告時,不宜做逐句記錄或引用評審小組個人之獨特意見,應以正向積極的語句取代懷疑或不信任的言詞,如「評審小組『發現』……」(The panel discoveries that......)的表達方式,似有認為學校有所隱瞞而遭評審小組察覺之疑慮,故不宜加以使用。最應注意的是,在未經合理分析事實或相關資料前,不宜驟下缺乏證據基礎之評審結論,以致後續無法做為上訴答辯之有效依據。

他山之石 可供借鏡

經由評審局首席評審總監駱桂好女士兩天的詳細介紹,可以發現我國高等教育評鑑制度與香港評審制度對於評鑑委員與報告撰寫品質之要求,有相同的看法,但在流程細節上卻有不同程度的作法,其主要差異在於報告撰寫人的不同。

臺灣系所評鑑方面,由於評鑑機構的職員-訪評專員並非訪評小組的一員,因此係由評鑑委員撰寫評鑑報告,專員則只負責潤稿工作;在香港方面,隸屬評審局專職人員的評審主任是評審小組的一員,而且皆具備十年以上大學教學的經驗,因此就擔負起報告撰寫的重任(見表一)。兩種制度各有優點,臺灣評鑑報告代表的是同儕專業的集體判斷結果,香港則是由具有豐富報告撰寫經驗的評審主任執筆,除了文意較為一致外,另也代表評審局的評審結果。

表一 臺灣系所評鑑與香港評審局評鑑報告撰寫流程比較

值得一提的是,當評鑑中心在思考如何學習香港制度,增進評鑑報告的品質之時,評審局首席評審總監駱桂好女士亦十分肯定臺灣在評鑑報告撰寫的過程及結果判定之謹慎度,相當值得香港學習。因此,未來評鑑中心與香港評審局將持續交流、彼此學習,以其在評鑑品質的增進上更為深化。

 列印 |  轉寄好友 |  Top |  回首頁

本期目錄
-本期目錄
單元相關文章