財團法人高等教育評鑑中心基金會  

 

亞洲高等教育評鑑委員專業訓練之剖析-以香港及澳洲為例
文/侯永琪
  輔仁大學教師發展與教學資源中心主任
  高等教育評鑑中心兼任研究員

邁入21世紀,亞洲各國高等教育體系紛紛建立起高等教育品質保證制度,以確保大學教育品質。然而,不論是已發展成熟且完成一輪以上評鑑之品質保證體系,如澳洲、香港,或是剛剛起步者,如斯里蘭卡、高棉,最為大家所討論的,除了機制的建制與運作外,就是評鑑委員的遴選與培訓,因為評鑑委員素質攸關整體評鑑成效與品質的高低,這也是現今全球品質保證機構一致的共識。

本文針對兩個採用英國模式且發展相當成熟的亞洲品質保證機構:「香港學術及職業資歷評審局」(Hong Kong Council for Accreditation of Academic and Vocational Qualifications, HKCAAVQ)及「澳洲大學品質保證局」(Australian Universities Quality Agency, AUQA),分析其評鑑委員培訓作法,以做為國內未來改善委員培訓的參考。

香港學審局之評鑑委員培訓

香港高等教育品質保證制度是亞洲各國中發展較早的,自90年代開始已由單一的校外品質保證機構,發展至多元化的體制,更將品質保證機制從大學本科層面拓展至副學位,現今更藉資歷架構(Qualification Framework)的建立,涵蓋至低層次學歷及技術性學歷之認可。在香港政府積極參與及推動之下,2007年10月通過「香港學術及職業資歷評審局條例」,正式的將「香港學術及職業資歷評審局」轉型為法定機構,除了協助大衆瞭解學術及職業的評審方法與品質保證工作外,也讓社會大眾藉由「資歷名冊」(Qualification Registrar)瞭解並獲取在資歷架構下,所有通過的認可課程及提供教育服務者之相關資料。

「香港學術及職業資歷評審局」主要由資歷認可委員會、人事行政委員會及財務委員會三個委員會所組成。其中,資歷認可委員會協助監督政策相關事務,後兩者則是負責管理方面的監督。「香港學術及職業資歷評審局」的主要運作機制,是由總幹事所領導的秘書處之60位工作人員承擔。秘書處分為三個主要工作部門:「學術評審部」、「職業資歷評審部」、「學歷評核部」,以負責評鑑核心業務;另外有「資歷架構及資歷名冊組」負責檢核大學上載的學歷資格,「研究、發展及培訓組」則主要支援「香港學術及職業資歷評審局」政策之研究,為學校與評審委員舉辦各項培訓活動,這是「研究、發展及培訓組」最主要的工作。

為期一天的「核心課程」

根據2009年「香港學術及職業資歷評審局」年報,「研究、發展及培訓組」的專家培訓模式是採「定期舉辦簡報會議及互動工作坊,或於評審前,安排評審小組會面,從而為專家提供評審局的最新發展資料,讓他們能有效地參與本局的質素保證工作,並掌握評審竅門」。雖然培訓課程採自願(voluntary)方式參加,但由於「香港學術及職業資歷評審局」的新制「四階段素質保證程序」相當複雜,因此,自2010年評審委員一律須經培訓課程,或是經由簽署共同合作姊妹評鑑機構所推薦者,如澳洲大學品質保證局,才可擔任評審工作。現今「香港學術及職業資歷評審局」每年大約需訓練200名評鑑委員,因此每個月皆有培訓課程。自2010年起,所有委員在完成培訓課程之後,將會被頒發「研習證明書」(Certificate of Attendance)。

培訓課程主要是為期一天的「核心課程」,但也不定期針對可能來自各種不同行業的評審小組委員,如美髮、鐘錶、出版印刷或物業管理等,舉辦簡報或工作坊。

「核心課程」訓練內容

「核心課程」分為上、下午不同主題,上午以報告方式進行,下午則是以模擬實例的小組工作坊方式進行。

「核心課程」之上午兩個半小時,包含評鑑委員所需要瞭解的評鑑相關內容,主要分為「四階段素質保證程序」及「評委的角色與責任」兩大部分。在「四階段素質保證程序」方面,如過程、程序、結果等,會對委員一一說明,並會特別針對各大學在「資歷架構」各層級課程與教學中之學生學習成效(student learning outcomes)的指標與內涵,進行更詳盡的分項說明。

例如,根據「資歷架構」,屬於層級七(level 7)之課程水準,是以「極複雜且嶄新的事項,以獨特創見課程為主」,學生的認知能力方面則包含「具有某一專門研究領域或更廣泛的跨學科範疇之知識;能以批判的角度研究、理解及評價一門科目或學科的主要理論及概念,並瞭解跨科之間的概括關係;可以指出獨特的創見、將之概念化,並轉化為複雜、抽象的新構思及資料」。而在其他實際操作能力(application)、通用能力(generic)的應用情境及畢業時所具備的專業表現等,也都有詳盡的說明。其最主要的目的,是讓委員可以充分瞭解以「成效為本」(outcomes-based)之教師角色、教學目標、教學活動、學習評估、學習成效、成效佐證資料等,且與傳統「內容為本」(content-based)評量的差異性為何(見表一)。

表一 成效為本及內容為本之評量方式差異

表二 「香港學術及職業資歷評審局」評鑑委員培訓一天核心課程時程表

在「評鑑委員的角色與責任」課程方面,則分別針對訪評小組的角色、召集人及其他委員責任、實地訪視的目的、利益迴避,及整個評鑑過程與結果判定等進行說明。其並強調委員應遵守「不出人意料之外」(no surprise)的態度原則,因為這是「香港學術及職業資歷評審局」進行評審時,最核心的價值之一。

下午的課程則是以實境模擬的工作坊進行。例如,如何進行一個好的訪視、事前如何準備、評鑑資料及相關佐證資料的閱讀與分析、訪談技巧等,以提供委員參考。其次,下午的實境模擬採用個案方式,主要在協助委員瞭解以學生學習成效為主之「資歷架構」相關資料的判讀分析,由委員實地演練,以瞭解如何判定課程的資歷級別。此外,也隨時視「學術評審部」的要求,提供評審小組在訪視之前的簡報工作。簡報中所提供的評審技巧內容,會與「學術評審部」手邊的個案相關。

整體來說,除了一天的「核心課程」外,「研究、發展及培訓組」每年也會針對個別行業或領域舉辦數場實境模擬的工作坊,每場人數約30人,2009年就約舉辦5場。

培養委員具有實地訪視能力

「香港學術及職業資歷評審局」前副總幹事Dorte KRISTOFFERSEN指出,模擬實境工作坊是相當重要的培訓課程之一,因為「這些工作坊可以讓我們瞭解到,是否機構所提供的教材真正可以幫助這些評鑑委員進入實地訪視的現場,並符合他們的需求」。而「研究、發展及培訓組」主任Susanna Lee也指出:一整天的培訓課程可以讓委員具備下列能力:1.清楚瞭解學審局的特色及在「資歷架構」之下品質保證的模式;2.瞭解評鑑委員在認可中應扮演的角色;3.明瞭採用佐證資料方式在認可中的重要性;4.認清佐證資料與實際學校準備評鑑報告之間的落差;5.可以在實地訪視時有效運用訪談技巧,以真正掌握大學所提供佐證資料的效度。

自90年代以來,「香港學術及職業資歷評審局」已經培訓出非常多的評鑑委員,而這些有相當經驗的委員並不被要求一定要參與最基礎的核心課程,他們只需參加在訪視之前的簡報。這些簡報工作主要由訪視小組專員擔任,通常是以一些現有的個案,進行小組內部的討論。但若訪視小組成員,在訪視之前對一些重要的議題想更深入瞭解,如「資歷架構」或學習成效,「研究、發展及培訓組」會特別為他們做個別簡報。通常這種機動性培訓課程,在一年之中會舉辦6至8次,但是會合併4至5個訪視小組一起做簡報,以節省人力資源。

現今「香港學術及職業資歷評審局」所有培訓工作,主要都是由「研究、發展及培訓組」的4名工作人員承擔,但主要講員的工作則是由主任與1名博士級講師擔任,因此工作是相當吃重的。Dorte KRISTOFFERSEN強調,未來所有課程將再被重新檢視,並更為制度化,也會開始邀請局外的講員協助所有培訓課程。

然而,因對香港品質保證制度熟悉度的考量,以及現今大部分的外聘講員已都有國際經驗,因此,「香港學術及職業資歷評審局」目前尚未有邀請國外講員的計畫。現今,每年兩次大型簡報已邀請資深評鑑委員擔任,而且此一簡報,會與委員聘任典禮儀式結合在一起,所有的委員皆須參加,藉此加強委員與評審局的合作關係。

澳洲大學品質保證局之「角色扮演」評鑑委員培訓

澳洲品質保證制度在亞洲地區最早發展出來,其評鑑委員的培訓課程最主要是採用已獲得大學同意的自評報告書為基礎教材,並以角色扮演及討論式工作坊的方式進行。「保證局」的6位審核主任(audit director)為主要講員。課程為期兩天,第一天主要包含澳洲大學品質保證局背景資訊介紹及審核的相關訊息,如審核目的、審核過程、審核訪談技巧、審核小組的角色及其獨立性等(表三)。

表三 澳洲大學品質保證局兩天的評鑑委員培訓課程

第二天,所有參與培訓者都會被分成小組,並針對大學自評報告書發展出問題,共同進行討論,一起找尋答案;例如如何發展出最佳的審核訪視議程、如何發現一些遺漏的資料、如何有效率地交叉驗證佐證資料、並在一定的時間內檢視受評單位的指標表現、誰應該被訪談、又該問哪些問題、如何寫出一份最初步的評鑑報告等。

在審核小組本身相互合作方面,則會討論如何進行一個有品質的小組討論會議、小組成員又應如何分擔工作,並有效率地擔任小組召集人等。在進行角色扮演工作坊時,品質保證局的工作人員會隨時在旁協助,以免參與者在討論過程中,太過於針對微小細節而失去焦點。最後一天角色扮演的課程會有分享的活動,相互比較討論的結果,並撰寫成果報告,以使參與者確實真正瞭解審核目的、精神與過程等。

以評鑑委員為中心的培訓方式

Oxford University教育系教授Susan Harris-Huemmert提醒評鑑機構在進行委員的遴選時,須注意評鑑委員是否可以瞭解評鑑的目的(fit for purpose),並確實地執行。而評鑑機構所提供之培訓課程,更必須能同時包含專業技能(hard skill),如課程知識、大學管理知識、系所知識、評鑑技巧等,以及軟技能(soft skill),如抗壓性、勇氣、彈性、機動、同理心及對品質改善的熱忱等。香港與澳洲「以評鑑委員為中心」的培訓模式,較可以兼顧此兩種能力之激發與培養

由以上香港與澳洲的評鑑委員培訓方式可以瞭解到,其課程發展已趨向模擬實例為主,並以引導式角色扮演之模式進行,期能更協助評鑑委員深入瞭解品質保證制度的精髓,藉此可以確認本身擔任評鑑委員的角色及責任,也能實際瞭解到在不同的評鑑階段中,會產生的可能狀況。在與其他委員的相互討論分享中,亦能學習到如何進行資料判讀與分析。在進入訪視現場之後,也能確實運用訪談技巧,獲取所需之相關資料與訊息。是故,以評鑑委員為中心的培訓方式,可讓委員有真正實際參與的成就感,而非只是流於參與一般大型演講而已。

香港與澳洲品質保證機構皆有專門的部門負責相關課程的研發,並擔任講員工作。雖然是以最精簡的人力擔負所有培訓工作,但因每位成員皆有相當豐富的培訓經驗,可以非常專業地帶領委員順利進入模擬的場景,既而達成培訓的真正成效。但澳洲大學品質保證局審核主任Antony Stella也提醒,「因所有相關模擬案例、教材,如自評報告等皆是來自受評者,除了須獲得大學的同意才能使用外,也須讓大學瞭解到,委員培訓工作需要他們的支持,如此才能解决大學對評鑑委員素質的疑慮,避免造成對評鑑結果不信任的問題」。

其次,「香港學術及職業資歷評審局」前副總幹事Dorte KRISTOFFERSEN也強調,以小組討論、角色扮演的方式進行培訓,需要更多的時間與資源的投入,但為了確保評鑑品質,這是所有評鑑機構應努力克服的。

評鑑委員培訓已成為國際關注的議題

現今一些跨國國際品保組織也開始針對各品保機構需求,提供專業評鑑委員與人才培訓之線上教材或工作坊。如「高等教育品質保證國際網絡」(International Network for Quality Assurance Agencies in Higher Education, INQAAHE)已發展出一系列訓練品質保證專業人員之線上課程教材,共包含四大部分:品質保證脈絡、外部品質保證、外部品質保證機構運作及高等教育機構。

「高等教育品質保證國際網絡」主席David Woodhouse就指出,「這些由全世界各國學者所共同開發的教材,是被用來做為建制品質保證制度時,最有用的協助」。此外在今(2010)年,INQAAHE也將在非洲奈及利亞所舉辦之論壇中,特別為所有參與的評鑑機構開設一個「評鑑委員訓練」工作坊。今年3月,「亞太品質保證網絡」(Asia-Pacific Quality Network, APQN)即將在曼谷舉辦的年會暨國際研討會,也為所有會員安排一小時「評鑑委員訓練」腦力激盪的討論會。

他山之石  可供借鏡

全球高等教育品質保證發展至今,許多國家都已相繼建立了相關制度,藉由國際品保組織網絡,評鑑機構可以藉由更有系統的平台與管道相互學習交流,尤其是在21世紀高等教育品質保證發展中,最為首要的委員遴選、培訓之議題上。

這幾年來,高等教育評鑑中心為國內高等教育品質提升的努力成果已為社會所肯定,除了所有評鑑資訊透明公開、過程獨立外,評鑑專業性更是使得評鑑中心獲得大學與社會支持最重要的基石。為了能更增進評鑑專業的品質,建議高等教育評鑑中心可以藉由香港及澳洲的經驗,開始進行幾項委員培訓課程改善與規劃:

一、成立負責委員培訓課程的專責單位:香港與澳洲皆有專職單位負責課程的統籌,有系統且隨時機動地提供評鑑委員最有成效的課程;二、聘任或培訓專業講員:可以由機構及資深評鑑委員中挑選,專業地帶領參與者進行個案討論;三、實例個案教材的編寫:在模擬評鑑不同的過程中,提供參與者一些可能的實例,激發參與者的學習動機;四、全年課程制度化的規劃:不論是系統性或機動性,所有課程的規劃皆須有明確的主題與目的;五、善用國際現有的資源:現今評鑑中心已是全球兩大品質網絡組織INQAAHE及APQN的會員,應善用這些國際組織所提供的專業課程及培訓專家之資源。

不可諱言,藉由瞭解亞洲先進國家評鑑機構評鑑委員培訓之好作法,不僅可以得知評鑑委員培訓方式之國際趨勢,也可讓國內評鑑委員的素質達到國際水準。未來評鑑中心可以將國內這些評鑑的人力資源分享給國外夥伴機構,以為亞洲高等教育評鑑發展做出更多的貢獻,並發揮更大的全球影響力。

註:感謝Dorte KRISTOFFERSEN、Antony Stella及Susanna Lee協助本文完成。

 列印 |  |  Top |  回首頁

本期目錄
-本期目錄
單元相關文章