財團法人高等教育評鑑中心基金會  

 

我國技術學院綜合評鑑後設評鑑之實施與建議
文/張國保
  銘傳大學師資培育中心暨教育研究所副教授兼所長
  陳俊臣
  銘傳大學教育研究所研究生

我國高等技職教育包含專科學校、技術學院及科技大學三類。高等技職教育的專科評鑑早自民國64年即已開始,技術學院評鑑約始自民國78年開始(周明華,2009),每校每四年須實施一次校務評鑑,91學年度起由國立雲林科技大學接續辦理,配合專科改制技術學院及訪視之追蹤輔導,使技術學院評鑑制度更趨健全完善。而國內所有的科技大學皆由技術學院改名而來,技術學院改名科技大學後二年須配合辦理科技大學訪視,第一次科技大學評鑑則始自90學年度。

技職評鑑史上首次後設評鑑制度 99年啟動

教育部實施專科評鑑、技術學院評鑑及科技大學評鑑多年,過去均於評鑑結果公布之後,由教育部邀集評鑑執行單位、評鑑委員或受評學校進行座談式的檢討,雖然也獲得不少改善建議,逐年修正評鑑的改善措施,但因座談會參與的對象、人數有限,所能檢討的問題、範圍與時間也都稍有不足,與後設評鑑的精神尚有未合,且教育部自己監督辦理評鑑,又自己進行評鑑檢討,有被疑為球員兼裁判之嫌。亦即我國正式以客觀研究方式、普遍對技專校院評鑑進行系統性且完整性的後設評鑑調查分析,尚屬闕如。

教育部有鑑於評鑑乃重要政策與依法必須辦理事項,為確實檢討過去的評鑑據以建立更周延的評鑑制度,爰於民國99年4月至12月間委託「社團法人台灣高等教育學會」進行「技專校院評鑑後設評鑑計畫」,是技專校院評鑑史上第一次政府委辦之後設評鑑計畫,其中含括「94-97年度科技大學綜合評鑑後設評鑑」、「95-98年度技術學院綜合評鑑後設評鑑」及「95-96年度專科學校護理科評鑑後設評鑑」等三個子計畫,且均以問卷調查及焦點團體之專家諮詢座談為後設評鑑之主要方法,本文因限篇幅,僅就技術學院綜合評鑑後設評鑑之目的、實施重點及建議析述於後。

後設評鑑之意涵與目的:檢核評鑑制度的評鑑

「後設評鑑」(meta-evaluation)此一名詞最早源自1940年Orata提出的「評鑑的評鑑」(evaluation of evaluation);1969年Scriven正式提出「後設評鑑」一詞,並將其定義為「第二層次的評鑑」(secondorder evaluation)(引自吳清山與林天祐,2005)。蘇錦麗(1997)認為,所謂「後設評鑑」是指評鑑的評鑑;亦即將原先的評鑑(或稱原級評鑑)置於受評者的位置,有系統地蒐集相關資訊,然後根據既定的標準,判斷其價值或優缺點之歷程,其主要目的是檢查機構自我管制機制的品質。

後設評鑑又可進一步分為「形成性(formative)後設評鑑」和「總結性(summative)後設評鑑」兩大類。游家政與曾祥榕(2004)引用Stufflebeam(1974)的說法指出,後設評鑑的任務有二:其一為「做決定」(decision making),由內部人員所實施的「形成性後設評鑑」;另一為「績效責任」(accountability),由外部人員對已完成的評鑑工作,提出「總結性後設評鑑」,藉以確認評鑑的績效和結果的可靠性。曾淑惠(2004)指出「後設評鑑」是一種對評鑑、評鑑系統或評鑑機制的評鑑。

本文所指技術學院綜合評鑑後設評鑑之進行,係針對實際參與95-98年度技術學院綜合評鑑之制度規劃者、評鑑執行者及受評鑑者等關係人為對象,屬於「形成性後設評鑑」內部自我評鑑的檢視;但實際執行後設評鑑的單位為台灣高等教育學會,又有「總結性後設評鑑」外部檢核的內涵。

綜合95-98年度技術學院綜合評鑑後設評鑑的目的可歸納如下:1.檢核整體評鑑制度之規劃與設計;2.檢討評鑑過程之妥適性與周延性;3.診斷評鑑結果的公正性;4.追蹤受評單位自我檢討評鑑後的改善情形;5.調查評鑑利害關係人對於評鑑的意見與感受;6.提出未來評鑑的改善方向與建議,作為主管教育行政機關、評鑑執行單位、評鑑委員、受評學校或系所據以檢討評鑑機制、法規、自我評鑑之實施及提升教育品質改進的參考。

技術學院後設評鑑之實施要項

國內對於技術學院綜合評鑑後設評鑑之研究不多,周明華(2009)之博士論文〈我國技術學院綜合評鑑之後設評鑑研究〉,係以95及96年技術學院綜合評鑑進行後設評鑑研究,開技術學院後設評鑑先河,惟尚未含括「95-98年度技術學院綜合評鑑」四年為一週期的完整性。「95-98年度技術學院綜合評鑑後設評鑑」之實施要項說明如次:

1.承辦單位:教育部為了進一步檢討改善技專校院評鑑制度,依採購法規定程序,正式委託台灣高等教育學會進行「技專校院評鑑後設評鑑計畫」,開啟我國技專校院評鑑由教育部委託辦理後設評鑑制度的嚆矢。

2.對象:第一次技術學院後設評鑑之調查對象,以95-98年度實際參與技術學院綜合評鑑之制度規劃專家、評鑑委員、受評技術學院校長、行政主管(含教務長、學務長、總務長、人事主任及會計主任)、學術主管(系主任、獨立研究所所長)、教師及學生等共十類關係人為調查問卷樣本。

3.內容:針對95-98年度技術學院綜合評鑑之評鑑制度的規劃與設計、評鑑的項目、評鑑的過程、評鑑結果的處理、評鑑目的達成成效之評估、評鑑的影響、對技術學院綜合評鑑相關規定的看法及對未來的技術學院綜合評鑑發展方向的看法等八大部分,進行檢討評鑑的評鑑。

4.方法:首次「95-98年度技術學院綜合評鑑後設評鑑計畫」的實施,兼顧量化調查與質化意見之蒐集與諮詢。質化部分採文獻與文件分析、調查問卷之開放性意見及焦點團體之專家諮詢方式,據以完成調查、分析、歸納、綜合討論及結論與建議之呈現。量化部分則依據「技術學院綜合評鑑後設評鑑調查問卷」填答結果,針對滿意度、適合度、贊成程度及適當程度等進行不同樣本之平均數及百分比分析。

5.開放意見:為使後設評鑑之關係人充分表達對技術學院綜合評鑑的相關建議,於每一問卷題項之後,均有開放性問題,且以無具名方式填答,使受試者得以更廣泛、不受限制的表達建言,以彌補量化調查結果之不足。

6.專家諮詢:95-98年度技術學院綜合評鑑後設評鑑之實施,為求調查問卷的設計周延性、調查過程的合宜性及調查結果分析解釋的客觀性,召開三次專家諮詢會議,據以提供珍貴建議,使問卷編擬、調查分析結果及解釋與所提建議事項更為嚴謹客觀。

對未來技術學院評鑑之建議

評鑑是持續改善品質的歷程,筆者在後設評鑑的參與執行過程,深感教育部、評鑑執行單位及受評學校都是影響評鑑成敗的關鍵,特提相關建議如次:

一、對教育部之建議

1.監督大學辦理評鑑

依據《大學法》第5條第2項及《私立學校法》第57條第2項之規定,教育部應組成評鑑委員會或委託學術團體或專業評鑑機構,定期辦理大學評鑑,並公告其結果,作為政府教育經費補助及學校調整發展規模之參考。因此,教育部宜持續針對公私立大學進行評鑑之監督與執行,藉以整體提高大學教育水準。

2.藉評鑑建立持續檢討改善的機制

評鑑只是一個過程與手段,評鑑之後如何落實追蹤檢討改善,更重於評鑑結果的公布,政策上可再持續督促成效。

3.透過後設評鑑檢討評鑑機制

後設評鑑可以就評鑑的制度規範、作業過程、委員的聘請、申訴程序、結果公布與應用及未來評鑑發展方向等,提供公正客觀的檢核,提出未來應興應革的檢討建議,對教育部、評鑑執行單位或技術學院都有改善之參考。建議未來的後設評鑑,應於評鑑後立即實施,俾更真實反映實況。

二、對評鑑執行單位之建議

1.周延評鑑規範

依據教育政策及法規,詳細規範技術學院綜合評鑑制度的規劃與設計措施,經教育部核准後實施,並適時向評鑑委員及受評學校說明轉達。

2.扮演專業諮詢角色

評鑑執行單位受教育部之委託執行評鑑作業之進行,對教育政策的落實、委員的延聘、資料的彙整、受評學校應配合事項之溝通與意見之蒐集等,都有必要扮演橋樑與專業的功能。

3.建立評鑑委員專業證照制度

評鑑委員代表教育部及評鑑執行單位實際前往受評校院系所,握有決定評鑑結果之實質判定權,宜落實評鑑委員行前講習,建立專業證照制度,提高評鑑的公信力與效度。

4.妥處受評學校之申覆與申訴意見

教育部明訂受評學校對於評鑑過程有違反程序與實質情事,得有申復與申訴案件之申請,評鑑執行單位宜公正客觀審理,以真實反映受評學校之辦學品質。

5.忠實反映評鑑結果

評鑑執行單位彙整評鑑委員的評鑑意見與判定結果後,宜向教育部具陳實情,據以作為教育部參考並提供受評學校持續追蹤檢討改善。

三、對受評學校之建議

1.積極辦理自我評鑑

技術學院宜定期對教學、研究、服務、輔導、校務行政及學生參與等事項,進行自我評鑑,以建立學校發展特色及競爭優勢,並期符合《教育部認定技術校院自我評鑑結果審查作業原則》所規定之以自我評鑑結果認定免評的申請要件。

2.透過評鑑佳績,申請辦學自主彈性

技術學院辦理評鑑制度完善,績效卓著者,報經教育部同意後,在「增設系、所、學程;招生之系、所、學程、人數;入學方式及其名額之分配;遴聘校長、專任教師之年齡;向學生收取費用之項目、用途及數額;辦理學校型態之實驗教育或學校內之教育實驗」等事項上,得不受《私立學校法》及相關法令規定之限制。

3.建立品質檢討改善機制

技術學院應依據自我評鑑及教育部委託辦理之評鑑結果與建議意見,作為行政與學術單位持續自我檢討提升的方向。

持續辦理後設評鑑 精進技術學院評鑑制度

評鑑係一項持續改善品質的歷程。後設評鑑既為「評鑑的評鑑」,其精神即在虛心檢討評鑑的制度規劃、執行過程、評鑑方法、結果的產生、影響、應用、委員的客觀性,以及未來評鑑時應興應革的重要方向或措施。因此,技術學院綜合評鑑後設評鑑的實施,彰顯教育部提升評鑑的決心,深具意義與價值。未來宜持續進行後設評鑑,使技術學院配合自我評鑑、專業評鑑及外部評鑑不斷自我成長,技術學院綜合評鑑制度更臻於至善完美,發揮導引技職教育進步發展的功能。(本文感謝技術學院綜合評鑑後設評鑑小組研究員李曉蓉博士、銘傳大學教育研究所研究生楊貞珮、許淑貞、柯依儒之協助)

◎參考文獻

吳清山、林天祐(2005)。後設評鑑。教育研究月刊,137,159。

周明華(2009)。我國技術學院綜合評鑑之後設評鑑研究(未出版)。國立臺灣師範大學工業教育學系博士論文,臺北市。

游家政、曾祥榕(2004)。教育評鑑的後設評鑑。教育資料集刊,29,53-94。

曾淑惠(2004)。教育評鑑模式。臺北市:心理。

蘇錦麗(1997)。高等教育評鑑:理論與實際。臺北市:五南。

 列印 |  轉寄好友 |  Top |  回首頁

本期目錄
-本期目錄