財團法人高等教育評鑑中心基金會  

 

落實評鑑委員研習課程 提升評鑑品質與效能
文/吳清山
  臺北市立教育大學教育行政與評鑑研究所教授
圖/陳秉宏

評鑑是一項專業性工作,為確保評鑑成效,除做好事先評鑑系統規劃外,更重要的是委員實地訪評工作,是故評鑑委員在整個訪評過程中,扮演着關鍵性角色。

評鑑委員素質以及稱職與否,皆會關係到評鑑結果的客觀性與公信力。不管是機構評鑑或專案評鑑,都必須讓評鑑委員瞭解評鑑的目標、精神、內涵及方式,以利整個評鑑過程順利進行。

由於評鑑結果決定涉及專業判斷,評鑑委員素質顯得格外重要,具有高素質的評鑑委員,才能成為一位「有效能評鑑委員」,也才會有高品質的評鑑效果。因此,如何落實評鑑委員培訓工作,提升評鑑委員素質,乃成為評鑑工作重要的一環。

有效能評鑑委員 須具備足夠的專業素養

有效能評鑑委員,涉及到委員評鑑專業認知、技能和情意等層面。李佳殷(2009)針對大學校院評鑑委員專業能力指標進行研究,發現大學校院評鑑委員專業能力指標,應包含評鑑專業知識、評鑑專業技能、評鑑專業倫理三大構面:

1.評鑑專業知識

是指評鑑委員必須具備的評鑑領域之獨特、完整且系統化的知識體系,包含「評鑑概念的知識」、「研究方法的知識論」、「大學行政實務運作」、「教育環境的瞭解」等四大向度。

2.評鑑專業技能

是指評鑑委員在進行評鑑工作時,所需運用的技術技能,應包含「資料的蒐集與組織」、「資料的分析與詮釋」、「報告的撰寫」、「人際的溝通與互動」等四大向度。

3.評鑑專業倫理

是指評鑑委員在評鑑過程中,所應遵循的相關倫理與規範,包含「個人信念」、「工作倫理」、「人際倫理」、「社會倫理」四大向度。

美國高等教育委員會(The Higher Learning Commission, HLC)是中北部各州學校學院協會(North Central Association of Colleges and Schools, NCA)下設的兩個委員會之一,其任務為針對大學校院進行認可,以保證與促進高等教育的品質,而高等教育委員會亦是經由美國教育部(U.S. Department of Education)及高等教育認可審議會(Council for Higher Education Accreditation, CHEA)所認可之組織。美國高等教育委員會認為,一個有效能的評鑑委員之專業精神應包含下列四點(HLC, 2007):

1.做好事前的準備

由於評鑑工作仰賴一個小團隊或個人進行同儕評鑑,因此一個有效能與效率的評鑑委員,會在事前做好個人的準備工作。

2.做出判斷與決定

評鑑委員被期待要在評鑑的過程中,根據認可的標準,對受評組織發揮他們最佳的判斷力。

3.過程中保護機密

評鑑委員應避免與其他非評鑑委員的成員,或評鑑單位成員直接討論有關評鑑的內容。評鑑委員在整個認可過程中,都不應該對外透露評鑑工作的每一個細節,或是對外說明評鑑團隊的審議情形。

4.整合他人的觀點

評鑑委員被要求須在個人的觀點與判斷,及其他評鑑委員的觀點與判斷中,做一個價值的平衡,意即評鑑委員被期待有能力整合對於受評組織的所有討論,最後做出一項整合性的決定,此一決定並須有證據與理由的支持。

此外,高等教育委員會認為有效能的評鑑委員,也須具有廣泛的高等教育知識、認可的知識與經驗、口語及文字表達的溝通技能、有效的諮詢與寫作技巧、有效能的訪談與傾聽技巧、有效能的團隊參與及合作技能、時間管理與持續完成工作、有效使用電腦與科技資訊的技巧、有效能的組織技巧、有效的團隊管理與執行技巧等方面知能;以及擁有公正與客觀性格、能根據證據做出判斷、考慮同儕情誼、擁有文化敏感度、對多樣的高等教育工作/方法及組織抱持開放的心胸、採取多元的觀點等人格特質。

不管是國內研究或國外經驗,一位有效能的評鑑委員必須具備一定的專業知能、專業責任和專業倫理;同時也要具有穩定和成熟的人格特質,在評鑑過程中才能確保評鑑的公正和客觀。

嚴謹評鑑委員培訓 是確保評鑑品質的關鍵

高素質評鑑委員,來自委員本身學術專業和對評鑑的理解與認同,此不僅要有豐富的學養,也要有實務的經驗。為了提升評鑑委員的素質,持續參與評鑑的相關研習課程,增進評鑑相關專業知能,可說是最重要的作為之一。

國內歷年來大學評鑑相關工作的實施,都會辦理評鑑委員的講習,但受到委員的時間不易調配,以及委員對講習工作重視程度不一,通常只舉行半天講習而已,這種短時間的講習,的確不易有效提升委員的素質。

為了讓委員真正瞭解自己擔任評鑑的角色和任務,就必須要求委員接受嚴謹的培訓課程,不是採取蜻蜓點水式或走馬看花式的講習方式,而應規劃系統性、整體性和全面性的研習課程,讓委員能夠深入瞭解,同時也有模擬實作的機會,委員之間並能進行分組討論和對話。此外,委員培訓應力求嚴謹,包括培訓課程設計、敦聘講座、委員參與、培訓成果評估等方面,都必須做好品管工作。唯有如此,才能有效提升委員素質,以及確保整個評鑑的品質。

委員培訓課程規劃,應注意下列原則:

第一是需求性原則:進行委員對研習課程的需求調查和評估,設計符合委員需求之課程。第二是多元性原則:研習課程具有多樣化,有靜態的課程,也有動態的課程,也有實作和討論的課程,較易激起參與研習者的興趣。第三是實用性原則:研習課程不能有過多理論的講授,而是研習之後,確實能夠用在實地訪評工作,而且對訪評工作有幫助。

委員培訓課程結束後,也須進行檢討,以利未來改進之參考。委員培訓課程事前規劃、實施過程、事後檢討,三者環環相扣,任何一個環節都不能馬虎,才能發揮培訓效果。

評鑑委員實地訪評前 應接受評鑑研習課程

評鑑是一件高度專業性的工作,不能只依賴委員本身豐富的學養,委員必須對評鑑內涵、指標、方式、程序、審閱資料、晤談技巧、報告撰寫有所瞭解,才能勝任評鑑工作。因此,評鑑委員在實地訪評之前,應接受評鑑研習課程,是相當必要的。既然委員有意願擔任評鑑工作,就不能拒絕參加相關研習課程。

美國高等教育委員會認為,對評鑑認可制度來說,它建立在評鑑委員能自我規範(self-regulation)與自我改進(self-improvement)的可信度上,除了要求委員瞭解、遵守、且能解釋說明評鑑單位手冊、評鑑委員手冊上對認可的規準、原則及過程,以及有關評鑑單位網站上的指導方針與其他訊息,並確認評鑑單位所指派任務工作的時間能接受與遵守外,並要求委員定期參與評鑑單位的訓練,藉以強化委員的評鑑專業知能。

國內辦理各相關評鑑工作,雖然都有辦理委員研習或講習課程,但因委員常常無法到齊,而且時間較短,效果實屬有限。未來應採取較為嚴格作法,凡是當年度沒有參加研習或講習課程者,不管他(她)是否有評鑑經驗,都不宜參加實地訪評工作。此外,培訓課程亦應有所調整,不宜只報告教育政策或說明評鑑內涵、過程及方式,應該增加實地演練課程,或者相關評鑑案例解析,藉以強化委員實務知能。

師法國外評鑑委員培訓方式 妥慎規劃課程

在歐美國家,評鑑委員培訓一直是評鑑過程必備工作之一,例如:美國西部學校學院協會高等教育認可委員會(Accrediting Commission for Senior Colleges and Universities, Western Association of Schools and Colleges, WASC)進行大學之實地訪評時,會先組成一訪評小組負責未來訪評工作。

為了使評鑑委員在進行認可訪評時,能夠確實扮演評鑑委員的角色,WASC每年都會在實地訪評前舉辦兩次研習會,秋季進行的實地訪評研習會在5月舉行,春季者則在11月舉行。WASC要求當年度所有參與訪評的委員,包含小組召集人、副召集人、評鑑委員等,都會受邀參加全天的訓練會。無法參加訓練會者,WASC要求其應參加時長兩個小時的網路研討會(webinar)。而副召集人則須另外參加時長一小時的網路研討會,以瞭解其自身特殊的角色與任務。(WASC, no date)。

研習會之實施內容,乃是針對評鑑委員在進行實地訪評之各項工作時,應抱持的方法與原則,分別說明如下(WASC, no date):

1.檢視2008年《大學評鑑指標與標準》以及大學評鑑流程之修訂版

WASC於2008年修訂了《大學評鑑指標與標準》與評鑑流程,並自2009年起開始實施,所有受評的大學都必須採用新修訂的大學評鑑指標,依據「資格預備評鑑」(Capacity and Preparatory Review, CPR)之內容來準備評鑑工作,而系所依據的則是「教育效能評鑑」(Educational Effectiveness Review, EER),評鑑委員必須瞭解CPR與EER之內容,並依據此進行訪評工作。

2.對於CPR與EER之理解

大學在準備評鑑作業、評鑑委員進行實地訪評工作時,必須充分瞭解到,CPR與EER兩者內涵並不相同,即「兩種角度、兩種評鑑」(Two Lenses on Two Reviews)。

3.實地訪評時程安排之範例

過去實地訪評的安排較為緊湊,WASC重新進行了修訂,鼓勵評鑑委員在實地訪評的前一天下午,事先在飯店進行工作會議,以便當日有更多時間進行其他工作。

4.進行系所評鑑之「教育效能評鑑」建議方式

教育效能評鑑訪評小組進行的是系所評鑑,此評鑑與大學評鑑及《大學評鑑指標與標準》並不相同,其著重於學生學習成果的評估,以及系所經費、資源運用的效能。藉由檢視系所評鑑的範例,WASC協助評鑑小組能以系統化的方法,進行系所評鑑與實地訪評。

5.大學自我評鑑報告之撰寫要求

WASC對於大學自我評鑑報告之格式有所更動,大學必須根據新的格式準備檔案與報告。

6.「教育效能架構」之運用

不論訪評小組進行大學評鑑實施的「資格預備評鑑」訪評工作,或是「教育效能評鑑」訪評工作,訪評小組均可採用「教育效能架構」進行訪評工作。

7.評量指標

WASC目前提供評鑑委員五大指標面向,做為進行大學運作與學生學習之品質與效能評估的準則。WASC於2008-09年的評鑑工作新增了「教育指標面向」,並在2010年進行修訂。

「教育指標面向」包含了評估教育效能的五大指標,每個指標面向下都包含不同的細項,而各細項各有「初期雛形、發展中階段、已發展階段、成熟階段」之四大等級(initial, emerging, developed, and highly developed)定義,提供給評鑑委員撰寫報告時,可用於描述大學的教育效能發展等級。指標面向下包含的內容可能就是評鑑委員進行實地訪評時會詢問受評單位的問題,或是欲擷取的資訊。

8.訪評報告撰寫格式

WASC鼓勵訪評小組,尤其是副召集人,直接以WASC提供的格式以電子檔方式撰寫,以節省時間,並且可避免資訊的遺漏。

有效能訪評報告的撰寫 依循四大原則

訪評報告的撰寫是評鑑過程中十分重要的部分,因此WASC在此部分也提出評鑑報告撰寫原則:

(1)訪評小組提出的判斷都必須基於評鑑標準與《大學評鑑指標與標準》中列出的指標內容進行。

(2)訪評報告必須引用《大學評鑑指標與標準》。

(3)訪評小組做出的評鑑結果決定必須根據《大學評鑑指標與標準》。

(4)《大學評鑑指標與標準》乃未來受評單位進行品質改進的準則。

而如何完成有效能的訪評報告,WASC則有下列原則:

(1)訪評報告針對大學的資格內容與教育效能進行徹底的評估。

(2)以事證為基礎。

(3)小組對評鑑結果的決定,建立在堅實的基礎之上。

(4)指出受評大學中應特別注意的重要部分。

WASC這套委員培訓課程,屬於較為完整、實用且有系統的制度,而且還增加副召集人的角色及任務,值得國內參考。

建立評鑑委員證照制度 提升評鑑委員專業素養

評鑑是一項持續性和專業性工作,為提升評鑑委員素質及擴大評鑑委員人才庫,建立評鑑委員證照制度,才是較為長遠的作法。

高等教育評鑑中心曾決定於97年度起試辦評鑑委員認證制度,凡全程參與認證培訓課程,每期一天6小時,課程內容包括評鑑政策與概念、認可評鑑模式、評鑑資料蒐集與分析、報告撰寫與倫理等四大主題,並完成4所學校或4次訪評工作,且表現良好的評鑑委員,即可獲得授證(鄺海音,2008),是有其前瞻性作為,但是部分學校和委員對此項試辦有不同認知和意見,遂無法持續推動,至為可惜。

基本上,推動評鑑委員認證制度,旨在讓更多學者專家參與評鑑工作,更進一步提升委員素質,通過認證者,就可優先遴聘擔任委員;其他優秀委員一樣有機會擔任評鑑委員。亦即,評鑑委員來源採雙軌制:一是具有證照之委員;另一是具有評鑑經驗的優秀委員。透過這些方式,深信有助於強化評鑑結果的品質與公信力。

評鑑委員證照制度之實施,涉及目標、頒證單位、適用對象、證照資格取得、證照研習課程、證照時效、證照更新或撤銷等各方面,必須妥為規劃,其中研習課程的適切性更是證照制度關鍵所在。為使課程符合實際需求,可邀集學者專家進一步設計。基本上,課程設計應力求實用性、多樣性和動態性為宜。

提升評鑑品質 仍是持續性和長遠性工作

評鑑委員有素質,評鑑結果才有品質,也才會創造評鑑的價值。評鑑工作的實施和評鑑目標的達成,都是相當不容易的一件工作,而最重要的是,要有完整的評鑑制度及適切的評鑑委員培訓方案。

評鑑制度是由人來執行,再好的制度,倘若缺乏專業、適切和有效人力執行,將難以收到評鑑效果。評鑑成敗的關鍵仍在於「人」,提升評鑑委員素質,不可間斷,必須列為持續性和長遠性工作,未來評鑑結果將會更具品質、公信與效能。

◎參考文獻

李佳殷(2009)。大學院校評鑑委員專業能力指標建構之研究。臺北市立教育大學教育行政與評鑑研究所碩士論文,未出版,臺北市。

鄺海音(2008)。評鑑中心將建立評鑑委員認證制度評鑑雙月刊,11,43。

The Higher Learning Commission (2007). Accreditation and the Future of Peer Review. Chicago: HLC.

Western Association of Schools and Colleges: Accrediting Commission for Senior Colleges and Universities (no date). Spring 2010 Visit Tools. Retrieved January 15, 2010, from http://www.wascsenior.org/spring2010teamtools

※本文承蒙侯永琪教授、蔡小婷小姐提供相關資料,以及王令宜秘書校稿,特此致謝。

 

評鑑中心回應

 

文/高等教育評鑑中心

感謝吳教授對評鑑中心培訓評鑑委員提供寶貴建議。其中,針對評鑑委員認證制度,因各界對此構想仍有爭議,目前評鑑中心暫不執行,改為先推動評鑑委員研習制度。凡參與研習課程滿12小時的評鑑委員,將由評鑑中心發給評鑑研習證書。

評鑑委員研習課程第一階段並先從評鑑召集人與規劃委員優先試辦,未來再視試辦成效,擴及其他評鑑委員,以及評鑑中心請各大學推薦的儲備評鑑委員。評鑑中心將鼓勵上述人員接受評鑑委員研習課程,未來獲得12小時評鑑研習證書的評鑑委員,將列為優先遴聘的對象。

 列印 |  |  Top |  回首頁

本期目錄
-本期目錄
單元相關文章