財團法人高等教育評鑑中心基金會  

 

專業化評鑑之效度總體展現-評鑑報告撰寫
文/王保進
  臺北市立教育大學教育行政與評鑑研究所教授
  高等教育評鑑中心系所評鑑諮詢委員
圖/王錦河

在高等教育領域之評鑑機制中,大抵可分為校務評鑑與專業評鑑二類,而不論是哪一類型的評鑑,其評鑑方法至少都會包括自我評鑑與外部訪視評鑑。其中外部訪視評鑑,主要都是透過專業同儕在事先閱讀過受評單位所提出的自評報告後,進行為期一定天數之實地訪評。

評鑑報告展現評鑑結果公信力

在實地訪評過程中,評鑑委員同時扮演了「效度確認者」與「洞見提供者」之角色。前者主要在強調評鑑委員實地訪評前應事先詳閱受評單位之自我評鑑報告,描述受評單位之優勢(特色)、問題(缺失),或待釐清之問題,而在實地訪評時,進一步從適當的對象採取適宜之資料蒐集方法(通常包括設施環境參訪、資料檢閱、人員晤談等),以釐清相關問題,進而確認優勢(特色)或問題(缺失)之正確性,檢證受評單位自我評鑑結果之效度;至於後者則在由評鑑委員基於「專業同儕」之角色,針對所發現之優勢(特色)或問題(缺失),提供受評單位發展辦學特色,以及因應困境、面對挑戰之改善建議或洞見。

不論是扮演「效度確認者」或「洞見提供者」之角色,評鑑委員對受評單位現況之優勢(特色)與問題(缺失)的提出,以及辦學特色或品質改善之建議,都必須透過評鑑報告之內容來呈現。也就是說,經由對受評單位自評報告之事先閱讀,以及實地訪評的工作,評鑑委員最後應透過評鑑報告,展現評鑑結果的公信力。因此,一份具有效度之評鑑報告,需要評鑑委員藉由文字呈現,能以公正、客觀的角色,以「專業」判斷受評單位在評鑑項目(標準)之表現,然後清晰、完整地說明受評單位之優勢(特色)與問題(缺失),最後,根據受評單位之優勢(特色)與問題(缺失),提出具體的辦學特色方向與品質改善建議,進而使評鑑報告獲得受評系所之信賴。

先描述現況 再說明優劣

至於一份完整的評鑑報告格式,因為評鑑報告處理方式的不同而有二種不同的格式。過去的高等教育評鑑,因為評鑑報告僅做為受評單位參考之用,並不對外公開,因此在受評單位藉由自我評鑑,對自身的現況已有相當瞭解的情況下,評鑑報告的格式大抵都是採用「條列式」方式,說明受評單位之優勢(特色)與問題(缺失)即可。

但近幾年高等教育評鑑,因受績效責任與顧客取向評鑑之影響,都強調評鑑報告與結果應向利害關係人公開。由於高等教育的利害關係人除內部之教職員生外,尚包括外部之政府機構、企業、學生家長及社會大眾等,這些利害關係人對高等教育機構的瞭解程度並不相同,因此,為使利害關係人能充分瞭解受評單位之全貌,近幾年來評鑑報告的內容,都強調評鑑委員應就受評單位之現況作客觀、完整描述後,再根據運作現況說明受評單位之優勢(特色)與問題(缺失)。

段落式說明現況及優劣 條列式列舉特色與建議

因此,評鑑委員完成實地訪評工作撰寫評鑑報告時,為能明確回應系所自我評鑑報告之內容,以及詳細地呈現實地訪評之結果,提出證據以獲得受評系所對評鑑認可結果之接受,並使利害關係人瞭解受評單位之真實表現,必須採取「段落式」方式,分段說明受評單位在評鑑項目(標準)之「訪評意見」,以能清晰完整描繪受評單位之現況、優勢(特色)與問題(缺失)。同時,採取「條列式」方式,具體說明受評單位在各個評鑑項目之「改善建議」,以能分點明確、具體提供建設性建議或洞見。

財團法人高等教育評鑑中心基金會之成立,是我國高等教育評鑑正式進入專業化評鑑機制的里程碑。為使整個評鑑機制的設計能符合國際高等教育評鑑實務之趨勢,在評鑑報告之處理上,不論是現在進行中的系所評鑑或是100年度即將進行之校務評鑑,其格式都將是先採取「段落式」說明受評單位在評鑑項目(標準)之「訪評意見」後,再根據所描述之優勢(特色)與問題(缺失),採「條列式」具體說明「辦學特色方向」或「改善建議」。同時,為確保評鑑委員所撰寫的評鑑報告能總體展現評鑑的效度,評鑑中心同時提出12點撰寫評鑑報告的注意事項供評鑑委員參考,但這12點注意事項多為評鑑報告內容與格式的規範,較難提供評鑑委員撰寫報告內容時具體之參考。

八類問題宜避免

截至98年度結束,第一輪的系所評鑑已經完成62所學校1,578個系所之評鑑工作。整體而言,絕大多數評鑑委員所撰寫的評鑑報告,都能充分展現並反映系所總體辦學品質之標準。一份具有評鑑總體效度之評鑑報告,應避免出現以下問題:

一、提出問題(缺失)但缺乏對應之改善建議;或提出改善建議,但卻未見應有之問題(缺失)之意見描述與說明

由於評鑑報告初稿完成後,尚有後續之資深編輯潤稿作業,因此這類問題大抵可以透過事後補救,來確保內容的完整性。但這類問題仍宜極力避免,因為在實地訪評當時,是評鑑委員對系所現況最為清晰的時刻,事後補救難免會出現印象模糊之困擾!

二、文字表達缺乏邏輯性與連貫性

這類問題涉及到評鑑委員個人之文字素養,一份好的評鑑報告內容,應該具有邏輯性與連貫性,確保文字之流暢性。但因評鑑委員個人學術背景之差異,以及所屬專業發表學術成果之語言不同(部分學門常以英文為學術溝通之語言),導致在措辭遣字上顯得有些彆扭。

例如:評鑑委員在報告中若寫「若以該校辦學目標所強調的『精緻、優質、專業、務實』析之,則認為此基本及核心能力的課程設計理念,不一定適合只有大學部單班,二技班級逐漸萎縮,又缺乏碩博士生及專任師資的學系」之意見,就可能導致閱聽者無法理解之窘境。這項意見若改寫成「若以該校辦學目標所強調的『精緻、優質、專業、務實』析之,該系此種基本及核心能力的課程設計理念,可能不一定適合缺乏碩博士生及專任師資且只有一班大學部的學系」,相信讀者將更容易明瞭。

三、內容過於簡單或語焉不詳

由於評鑑項目的內容涉及「事實性(fact)資料」與「意見性(opinion)資料」二類,其中對於意見性資料,因學術專業內涵見解的差異,常需評鑑委員做更為完整之說明與闡述,受評單位才能瞭解評鑑委員之意見。因此,評鑑報告的內容不宜出現過於簡單,或是語焉不詳之問題。

例如,評鑑委員若提出「該校朝研究型大學邁進,但該系培養的博士班研究生仍未達一流國際大學的水準」之意見,則此一意見中除了內容過於簡單外,亦出現前半段強調「研究型大學」,但後半段卻是「一流國際大學」二個未必等質且語焉不詳之見解。但這項意見若改成「該校以發展為研究型大學自許,並以邁向國際化一流大學為最終目標,但該系培養的博士班畢業生,除從事學術研究與大學教職之人數偏低外,在國際性學術研討會或期刊發表學術成果亦不多見。整體而言,該系目前之表現,仍未能達到該校發展研究型大學並邁向一流國際大學之水準」,則受評單位才能瞭解評鑑委員之意見重點。

四、過於自我本位之專業規範性意見

就系所評鑑為「專業同儕」質性品質判斷之精神而言,評鑑委員本就應扮演規範性的角色。但此一規範性角色必須植基於系所的背景條件與教育目標,同時在考量學術專業之發展下,提出專業的規範性意見與建議。然由於評鑑委員來自不同類型的大學,同時在該大學已經有相當長久之工作經驗,因此在撰寫評鑑報告時,若不自覺地將自我本位之專業規範性意見加諸於受評單位,甚至使用情緒性字眼,將造成評鑑喪失其強調自我比較與品質改善之精神。

一般而言,過於自我本位之專業規範性意見,包括:1.要求系所訂定不符合背景條件的教育目標;2.建議系所開設某類委員認為重要之課程,但卻與系所教育目標關連不高;3.要求學生背景條件較弱之系所訂定難以達成之英文檢定門檻;4.要求強調以教學為目標之受評單位強化學術研究,並在SCI、SSCI或TSSCI上發表論文之意見;5.要求學術導向之系所強化學生專業證照的輔導。此外,有關評鑑委員要求受評單位與他系整併之意見,或是指責受評單位「該系教師結構過於偏向XX領域,系上優異學生也幾乎都是XX領域傾向;這固然有利於XX領域之發展,但對臺灣YY領域整體的發展並不理想」、「學程與選修課程均為專業課程,教學變成填鴨子,學生消受不了的問題」等意見,都是評鑑委員過於凸顯自我本位之專業規範性意見,在撰寫評鑑報告時務須避免。

五、訪評意見前後矛盾

由於實地訪評受到時間之限制,因此評鑑委員都會進行分工,每人負責某幾項評鑑項目(標準)之報告撰寫,而評鑑項目間或多或少都有某種程度之關連性,因此在評鑑報告中難免出現不同評鑑委員針對受評單位的某一現況同時提出意見或建議之現象。此種情形原本無可厚非,但卻不宜發生因評鑑委員間缺乏溝通,造成評鑑報告內容前後矛盾之問題。

例如,若有評鑑委員在某一評鑑項目中提出「該科師生比良好(約為1:2),且晤談結果學生表示,在課程教學與研究學習過程中,教師提供學生良好之支持鼓勵與互動關係」之意見,但另一評鑑委員卻在不同評鑑項目中提出「該科教師教學負擔沈重且專長無法提供學生多元興趣學習機會」之意見,則會形成同一份評鑑報告前後矛盾之問題。

六、意見與評鑑專業無涉,甚至不知所云

任何一個評鑑機制都有其固定之評鑑項目,評鑑委員之職責就在根據評鑑項目,對受評單位之現況與品質進行專業之質性判斷。但在評鑑報告中,委員不宜為了鋪陳意見脈絡之需,甚至不知旨趣為何之情況下,而出現訪評意見與評鑑專業無涉,甚至不知所云之問題。

例如,若評鑑委員在報告中提出「未來蘇花高速公路是否通過環境評估猶未可卜,短時間內花蓮市景似乎仍難期待快速繁榮」、「同一個學校,固然有一些較有錢的系,也有一些較窮的系,但是差別太大,在不同單位的教師與學生之間會產生十分負面的影響,這是違反教育的基本原則」,或是「該系認為醫療服務業是未來具有前景的行業,但首先不知道少子化的問題,醫療能做什麼?是人工生殖嗎?是製造大量的試管嬰兒嗎?」等意見,都將導致利害關係人有著不知所云之疑慮!

七、認可標準過於嚴苛

認可制之精神在確保受評單位足以提供學生一個優質的學習環境,性質上屬於「門檻制」,亦即受評單位如能達成提供優質學習環境之基本條件,就應給予認可。但評鑑委員若出於「期許過高」或「律己甚嚴,有為者亦若是」之心理,則可能出現認可標準過於嚴苛之意見。

例如「該系10位專任教師近三年共發表40餘篇學術性期刊論文,且多為國際期刊論文,其中20餘篇為SSCI及TSSCI期刊論文,但該系教師(尤其是助理教授)普遍授課負擔過重,皆接近九個小時,導致研究成果不佳」。這樣的意見同時出現在一個設有學士班與碩士班之受評單位,似乎已出現認可標準過於嚴苛之疑慮!

八、具名下進行負面批判或引述相關人員之意見

評鑑的最重要目的在協助受評單位進行自我改善,而評鑑委員的功能就在提供具體的改善建議,供受評單位改善之參考。但若是評鑑委員的意見指名道姓的對受評單位之師生進行專業批判,或是引用相關人員意見,可能非但無法達成協助品質改善之目的,反而引來受評單位內部之紛爭。

例如,評鑑委員若提出「除系主任以外均已點明其研究方向與醫療有相當之符合」、「除了現任教授XXX有6篇學術研討會論文,對於學術界的參與度值得嘉許外,其餘現任專任教授的表現不僅有待加強,甚至可說薄弱。比如說,助理教授YYY係1996年到職,授課亦未超鐘點,但其研究論文發表情況卻很差」等,或許是評鑑委員針對事實所提出之意見,但這樣的意見有時非但無助於受評單位之自我改善,反倒造成後續之紛爭與困擾。

評鑑報告應具效用性、適切性、精確性

美國教育評鑑標準聯合委員會(Joint Committee on Standards for Educational Evaluation, JCSEE)在其「方案評鑑標準」報告中指出,一個成熟之評鑑機制必須同時滿足效用性、可行性、適切性及精確性等四項標準,其中除可行性與評鑑報告無關外,與評鑑報告相關之標準,在效用性部分,評鑑報告應注意清晰性和及時性傳播二個要素,此即在強調報告內容須易於為利害關係人瞭解,並適時地向利害關係人公開;在適切性部分,必須注意內容對受評者權利之尊重,以及人性之尊重;而精確性部分,則強調應注意資訊的有效性,可以達成預定之用途;同時報告內容應避免受到個人情感或任何群體偏見之扭曲,且讓利害關係人能仔細地檢閱報告內容所提出之優點和缺點。這幾項建議恰可以有效地呼應評鑑委員撰寫評鑑報告時,因一時疏忽所可能衍生之問題。

根據陳信瀚於2007年以JCSEE之架構對系所評鑑所進行之後設評鑑顯示,不論在效用性、適切性或精確性面向,有關評鑑報告內容都是受評單位滿意度最低的部分,且其感受顯著低於擔任評鑑委員。在目前評鑑委員專業性普遍受到關注之際,顯示評鑑委員撰寫評鑑報告之品質,仍有改善提升的空間。本文提供下列意見供評鑑委員在撰寫評鑑報告時之參考:

撰寫評鑑報告之六大注意事項

一、從閱讀自我評鑑報告開始,到完成評鑑報告撰寫的過程中,評鑑委員都應確認已充分掌握受評單位之辦學方向或教育目標,並時時以此做為執行評鑑工作時判斷之基準。

二、除掌握受評單位之辦學方向或教育目標為專業判斷之基準外,評鑑委員更應以同理心時時自我提醒,將自我本位之專業性規範角色或意見排除,確實做到專業「同儕」之角色。

三、依據參考效標,透過聽取簡報、設施參訪、資料檢閱及人員晤談,蒐集相關之事實性資料與意見性資料,並以事實性資料做為判斷意見性資料真實性之參考,最後做出專業判斷並形諸文字。也就是說,根據所蒐集到之事實性資料與意見性資料為「證據」,並以受評單位之辦學方向、教育目標,以及確保學生學習成效為「規準」,做出「結果」之專業判斷。

四、訪評意見之敘寫應該強調背景(現況)、證據,及判斷三者之邏輯與連貫性。即先說明受評單位之背景條件或現況,再以所蒐集之事實性與意見性資料為證據,進而做出判斷。統整這三個要素之訪評意見才不至於過於簡單或空洞,利害關係人也才能充分理解。

五、改善建議必須植基於訪評意見中之證據與判斷,對事實性現況(如師資人數、學分與課程開設等)應提出規範性(prescriptive)建議(如增聘2位教師、選修學分至少應XX學分、宜開設XX課程以符應教育目標等);至於對意見性現況(如教育目標之明確性、課程架構與教育目標之關連、師生互動、畢業生聯繫等)應提出描述性(descriptive)建議,明確說明教育目標要如何才明確,課程架構要如何訂定才能與教育目標有所關連、師生互動品質要如何才能提升、畢業生聯繫可行之作法為何。如此受評單位才能瞭解如何進一步進行品質改善。

六、最後有一些注意事項,是評鑑委員在撰寫評鑑報告時可以依循的。包括:1.避免直接引用晤談後的意見反應;2.避免具名下進行負面批判或引述相關人員之意見;3.避免用詞挑起受評學校及系所人員間的反彈、矛盾或衝突;4.注意專業術語之一致性;5.避免數據之誤植;6.避免直接引用自評報告書中有關問題(缺失)之內容;7.評鑑報告最後應進行整體檢核,避免出現前後矛盾之意見。 

 

評鑑中心回應

 

文/高等教育評鑑中心

為精進評鑑報告的品質,高等教育評鑑中心特別邀請王保進教授,針對撰寫評鑑報告所應避免的缺失進行自我檢討,以做為未來評鑑委員培訓與研習時的重要教材。文中所舉的案例多為訪評報告初稿意見,所有初稿意見皆經適當潤飾修正後才納入認可結果報告書中。

 列印 |  |  Top |  回首頁

本期目錄
-本期目錄
單元相關文章