技職評鑑

2008.11 / 第16期: 澳洲技職教育與訓練之品質保證機制

財團法人高等教育評鑑中心基金會 — Sat, 01 Nov 2008 08:00:00 GMT

澳洲技職教育正式名稱為職業教育與訓練（Vocational Education and Training，簡稱VET），截至2007年，全國已有4,400個立案訓練機構（Registered Training Organization，簡稱RTO），其中公立機構占30%，包括大學校院、中等教育校院及技術暨進修教育機構等；私立占70%，包括業界、社區組織、私立訓練學院、特定行業組織等。這些機構得依據立案時申請的專業領域與資格等級傳授技職教育與訓練，每年有150萬以上來自各種年齡層、背景、區域的學生參與技職教育，其中52%是男性，89%屬於在職進修，57%年齡層在24歲以上；最熱門的五種課程是餐旅（二級）、商業管理（三級）、商業行政（二等）、零售業（二級）、電工（三級）等。

整體性的訓練網應屬建置完備，進一步要檢視的是此一龐大機制要如何維持一定的品質？澳洲的「全國訓練架構」（National Training Frame work）即其品質保證機制，此架構包括三要件，分別是澳洲學歷資格架構（Australian Qualifications Framework，簡稱AQF）、訓練套件（Training Packages）及澳洲優質訓練架構（Australian Quality Training Framework，簡稱AQTF），以下逐一說明三要件，並針對2007年甫修訂的AQTF做較完整的介紹。

澳洲學歷資格架構（AQF）

澳洲面積是臺灣的235倍，人口卻和臺灣差不多，但多集中在東南部，全國平均每平方公里的人口數不到3人。再加上三級分權政府制，全國有六大州及兩領地，在人口分布、地理環境、政治制度等因素交錯影響下，全國教育在運作及品質方面的一致性尤為重要。以往，澳洲各州和領地對某些專業人士（例如醫師）及技術人員（例如水電工人）皆有各自規定之證照制度，據以規範登記、註冊及發照。

自從1995年訂定AQF後，全國學歷資格皆採統一架構，使得各州所發之證照、學歷和資格在他州或領地亦被承認和適用。AQF共有15種不同的學歷資格（如表一），規範出各層級各學歷或資格應具備的能力，分屬中小學、技職教育及大學等三大部門，彼此間得以相互連接。完成AQF中某個學歷資格，可獲得相應的資格學分，學生可憑現有的學歷，於全國選讀或轉銜至適合其級別的AQF課程。

表一澳洲學歷資格架構依據認證部門區分

訓練套件（Training Packages）

訓練套件是一套全國認可的能力標準和資格，並非教材或教師手冊，RTO透過訓練套件來傳授業界所需的技能標準，學生必須以具體技能來證明符合哪些標準，這也是所謂的能力本位訓練（competency based training），其資格或學歷取得的評估重點在於是否達到行職業所需要的具體技能，而非完成特定時間的特定課程。因此，每位學生的學習時間更有彈性，要完成某一資格的期程也可能未盡相同。

每份訓練套件涵蓋認可要件和配套文件兩部分，前者又包括全國技能標準、全國學歷資格及評估準則；後者係學習策略、評估資源或專業發展建議等。例如IT的訓練套件包括有34種學歷資格和328種較細項的能力單位。訓練套件每三年修訂一次，以確保充分與業界發展現況結合。參與者包括原有編撰者（通常為相關企業的諮詢單位）、業界代表、訓練機構及相關單位。澳洲目前共有75份訓練套件，囊括了所有行職業80%的人力需求，因係由業界發展而成，又是以能力為本位，可引導各機構達成學用相符的訓練品質。

澳洲優質訓練架構（AQTF）及2007版內容

AQTF係針對VET體系建立的全國性標準，旨在確保全國一致、高品質的訓練和評估服務。2006年2月，全國品保諮詢委員會（National Quality Council）檢視並修訂舊版的AQTF，並特別針對規章複雜、程序繁瑣、花費昂貴、僅側重於確認投注的資源是否足夠等遭到批評之處予以改進，並進而發展出成果導向的評鑑模式，最終目的是促進訓練的品質，該新架構經澳洲全國技職教育部長委員會核可後，自2007年7月1日起生效實施。

2007版的修訂方針包括：減少例行行政負擔、全國一致性有效率及標準化的流程、確保相關單位對技能品質的信心、訓練和評估的持續精進。其關鍵特色如下：

成果導向（outcome focused）

強調對服務對象提供的成果與品質，而非各項輸入的呈現，這意謂著RTO有較多的彈性去證明他們如何提供有品質的服務。

全國一致（nationally consistent）

對個人而言，希望可以拿著國家認可的技能證明通行全國；對業界而言，則期待員工無論在哪裡受訓，都能有同樣的技能水準。全國各州暨領地立案單位已共同發展並出版全國性的作業細則，以確保AQTF2007的解讀及執行達到全國一致性。

提升效率（streamlined）

AQTF2007將相關標準予以簡化，以成果為導向，並聚焦於訓練與評估、顧客服務及管理機制等三部分。

簡明易懂（transparent）

全國各地的立案訓練機構均可在專屬網站（http://www.training.com.au/AQTF2007）獲取全國性的準則和手冊。網站資料包括AQTF內容、品質指標、16冊出版品電子檔、各類課程及全國RTO超連結等。

三項品質指標
檢核機構是否持續精進

AQTF2007版內容主要包括三部分：

（一）訓練機構立案的重要標準：所有機構必須符合這些標準，方可傳授並評估全國認可的訓練課程，進而授予全國認可的資格證明。（二）各州及領地立案單位的作業標準：這些單位負責督導所轄RTO的服務品質，確保符合AQTF及相關規章的要求。這些標準和作業細則可據以作為全國性的運作架構。（三）優質化標準：RTO可自行運用這些標準，以促進服務品質的持續精進，使得辦理成果獲得肯定。

由於AQTF2007版還特別強調要引導持續精進，其品質指標（quality indicators）可從三方面檢視：（一）雇主的滿意度（employer satisfaction）：針對雇主對員工專業能力的評核，學用相關程度、訓練及評估的整體品質。（二）學習者的滿意度（learner satisfaction）：學習者參與學習活動後能否獲致高品質技能？學習者對於能力發展品質的認知情形？從RTO方面獲得的各類支持性輔導？（三）能力資格達成率（competency completion rate）：由RTO提供前一學年度的註冊數及所核發的相關資格證明或能力／模組單元。

實地評鑑流程

AQTF2007版的各項標準旨在確保全澳洲VET的品質與運作達到一致性，而最有效的必要措施就是透過評鑑機制來檢核。一般而言，在下列狀況下各機構需要接受書面或實地評鑑：（一）首度立案申請；（二）RTO立案後12個月內；（三）危機或陳情案的處理；（四）五年一期重新立案申請；（五）變更立案領域申請。

各受評機構會在實地評鑑四週前接獲通知，除了日期外，還包括受評的專業領域及評鑑小組的姓名及聯絡細節。受評機構可協調更改受評時間，並隨時可與評鑑召集人聯繫。假設機構的營運地點不只一處，則其他分部也列入評鑑範圍，並會於評鑑通知中載明造訪地點。

AQTF2007版評鑑各訓練機構是否達立案標準的作法，各州際間的執行細節可能有若干差異，但基本程序是全國一致的，包括：（一）起始會議（the opening meeting）：參加人員包括評鑑召集人、機構的執行長和評鑑時隨行員工，評鑑委員在此會議中確認評鑑目的及範圍、描述將採用哪些方式蒐集證據等。（二）證據蒐集（evidence gathering）：採用的方式包括閱覽受評機構的文件與紀錄；和訓練者、學生、雇主晤談；觀察受評機構的實務運作、檢視其資源與設備等。針對不符合AQTF標準的部分，受評機構應有機會提供進一步證據。（三）結束會議（the exit meeting）：評鑑委員要提供書面或口頭回饋意見，受評機構亦可提出疑問並補充相關佐證資料。出席人員包括委員召集人、機構之召集人暨評鑑陪同人員等。

評鑑結束後，由相關主管機關函送報告給受評機構，報告內容包括：符合及不符合部分的意見、主管機關綜合的結論。值得一提的是，雖然訓練機構是否符合AQTF的標準是由委員檢視，但評鑑結果的最後決定權仍歸屬於行政單位。

評鑑次數隨機構業務的複雜性而異，平均大約需要五至六小時，但有些評鑑可能長達二日。每場次評鑑人數可能總共僅有召集人一名，或由少數委員組成的評鑑小組進行。官方版的評鑑手冊中對委員的能力素養有基本要求，包括個人特質要遵守倫理、圓融無偏見、具敏銳觀察力等；有能力溝通協調、解決紛爭、撰寫報告、運用電腦等；具備VET專業知識；擁有教育或訓練、評鑑等相關工作經驗；具備VET訓練套件中訓練及評估的能力（Training and Assessment Training Package TAA04）；召集委員要具備正規的評鑑人員認證資格等。後二項係自能力本位訓練來看待評鑑工作，具體載明評鑑委員的專業資格，非僅憑學經歷背景即可勝任。

建立種子委員人才庫為當務之急

澳洲政府充分瞭解此一新制的成敗關鍵在於評鑑機制，尤其是分由各州與領地各依權責運作，難免產生執行不一致的風險，因此，當務之急在於建立全國評鑑種子委員人才庫，至少有100名評鑑委員參與評鑑工作坊，以期強化委員們的專業能力。

此外，AQTF2007版實施一個月時，即提供使用者及相關單位回饋管道，看看是否已如預期般減輕行政負擔？如何協助相關單位順利執行新制？運作滿一年後，另請專案小組正式評估，以便進行滾動式修正，確保訓練品質。

綜上，澳洲技職品保機制中的能力本位訓練套件、成果導向的評鑑及評鑑委員的專業認證等，均十分值得探究與借鏡，對於提升我國技職教育品質提供了具體的改革參考。

本文PDF檔案下載

2008.09 / 第15期: 專科學校評鑑 97年度起辦理四年

財團法人高等教育評鑑中心基金會 — Mon, 01 Sep 2008 08:00:00 GMT

專科學校評鑑自民國64年起「分類分年」辦理，並自工業類學校之電機、電子、機械、化工、土木等五個科組開始，逐年推廣至商業、管理、藝術、農業、海事、家政、體育、新聞、外語、護理等各類科組學校。90年度起，調整以「學校整體」為單位辦理評鑑，一次完整辦理校務行政與各專業科系之等第評鑑；最近一次係於93年辦理，計有12所學校受評。

除了上述持續進行的綜合評鑑之外，有鑑於目前的專科學校大部分皆源自護校，由職校升格到專科學校，無論在校務行政或教學品質等方面均需要專業協助與引導；並為了確保護理科系畢業生投入臨床服務後，在專業技能、倫理與態度等面向均能符合社會期待與信賴，故自95年度起由「臺灣護理教育評鑑委員會」（TNAC）就護理科辦理每校五天的單科評鑑，已分二年完成14校護理科評鑑。

台灣評鑑協會承辦
評鑑項目微調

97年度起係新的四年一輪專科學校評鑑，由承辦單位台灣評鑑協會援例，就評鑑指標的部分進行整體性的檢視與調整，以更符應評鑑發展及人才培育政策的需求。

本次修正係以93年度專科學校評鑑項目內涵為主軸，參考技術學院暨科技大學評鑑指標項目架構，並配合教育部專科學校發展目標及技專校院評鑑整體發展趨勢，最後再參酌各校回填之「專科學校評鑑指標修訂草案意見調查」，及各校出席評鑑指標說明會上所提意見，進行最後的定稿。

總括而言，此次評鑑指標修正幅度不大，鎖定專科學校的人才培育目標、發展現況及資源條件等微調相關評鑑項目（詳如表一、表二）。修正重點摘述如次：

行政類大項不變調整權重及分項

維持「綜合校務」、「教務行政」、「學務行政」、「行政支援」等四大項，將「訓輔」一詞調整為較廣義的「學務行政」。權重部分由側重「綜合校務」及「行政支援」（各占30%），調整為酌增「教務行政」與「學務行政」之比重，此係因先前著眼點在制度面之健全，現階段則可進一步引導提升教學品質與學生服務。

表一科技大學暨技術學院與專科學校評鑑項目權重對照表─行政類

表二科技大學暨技術學院與專科學校評鑑項目權重對照表─專業類

另外，原「教務」項下之「學籍業務」納入「教務行政」項下之「教務行政執行成效」，整體檢視教務方面所有制度與規章；原列於專業類且每校均需受評之「一般科目」（或稱為共同科目），本次納入行政類「教務行政」項下之「通識教育」，以更符合現階段通識與專業並重之人才培育需求。

以權重差異
凸顯各級人才培育之區隔

由表一可見，專科學校到科技大學的評鑑細項頗為雷同，此點遭受若干質疑，然檢視各類綜合評鑑不難發現，實際檢視的項目不外乎校務、教務、學務、行政支援、課程、教學、師資、圖儀及學生成就等，重點應以權重差異或局部調整來凸顯實質區隔。

例如科技大學的「綜合校務」單列一項「國際化成果」，在專科學校則是內含於行政類「綜合校務」下之「教學規劃與學習成效」之一分項；又如在研究及產學研發方面，專科學校相關指標所占權重亦低於科技大學。

專業類評鑑項目統整分類

原評鑑指標以CIPP評鑑模式分為1.綜述（15%）、2.投入（35%）、3.執行策略（35%）、4.產出成效（15%）及5.特色加分（15%）等五大項，本次修正將實質內容轉換為「科務發展」、「課程」、「師資」、「圖儀設備」、「教學品質」、「學生成就與發展」、「研究發展」等七項，並不再單列「特色加分」。重視課程、教學、實習輔導、教師專長與科務發展配合情形、教師專業成長輔導機制與考評、專業技術教師之聘任及實務經驗、圖儀之質量與使用、就業輔導及追蹤機制等。

整合檢視相關政策執行情形

為使政策執行及相關獎補助計畫更有實效，各項評鑑訪視工作日益增加，學校屢需配合亦頗有負擔，有鑑於此，適度整合相關訪評業務確有必要。本次指標修正特將「專科學校提升整體教學品質專案計畫」之執行成效納入檢視，除可簡化行政業務外，並可由專家提供相關諮詢意見。此外，重要的社會關切議題「服務學習」、「性別平等教育」、「生命教育」等執行內涵亦一併納為參考項目。

97年技專校院評鑑作業
採一致性規範

鑑於科技大學評鑑、技術學院評鑑及改名改制訪視皆由不同單位承辦，為統整相關訪評作業之執行，及一致性的行政要求，教育部業邀集學校代表及97年度所有承辦評鑑及訪視工作單位，召開「97年度技專校院評鑑及訪視工作協調會議」，就訪評工作之行政庶務充分討論，具體決議包括：

訪評作業時程

97年度所有訪評工作之全年度作業時程均已排定，應據以按部就班執行為原則；各校受評時程已約略安排，儘量避免同一天同時進行多項訪評，惟確切日期留待各訪評單位召開受評學校說明會時，由各校代表自行抽籤決定。

訪評委員之遴聘、更新與研習

包括委員之組成與遴聘原則、名單產出流程、委員更新原則、委員研習及手冊內容等均載明共通原則。其中尤針對委員之相關規範有具體要求，原則上委員之更新比例每年以1/3為原則；擔任多年之委員可酌予替換；排除前次評鑑不適任委員；各受評學校亦可提供迴避委員名單，每科系以3名為限；為了持續充實評鑑委員資料庫，並由承辦單位函請各大專校院、工（公）會、學會提供推薦委員名單；本年度並將函請各受評學校提供該校之自我評鑑委員名單，俾於安排委員實地評鑑時確實做到利益迴避；專家學者中曾有相當層級業界經驗者，亦得歸類為業界代表，以遴聘最適任之委員為前提；針對業界委員宜加強技職教育之宣導，使之了解技專校院辦學特色及政策方向。

訪評業務共通性問題

儘速完成評鑑資訊網之改版，提供更便捷豐富的評鑑資訊與等第查詢；受評學校說明會除原有的承辦單位訪評作業報告外，將增列教育部代表及校務基本資料庫工作小組出席說明；受評學校量化資料應以校務基本資料庫產出之報表（97年10月填報之資料）為準，學校現場提供之更新資料僅供參考；編撰隨行人員工作手冊，詳載工作標準作業流程，撰寫實地評鑑記錄表等。

97年度專科學校評鑑的相關配套作業，還包括評鑑時程由一天增加為二天，使委員有更充裕的時間檢視資料或訪談人員，以及評鑑日期由97年底展延至98年2至3月，提供學校因應指標調整進行必要的準備工作等。

是否改採認可制評鑑
教育部將深入研究

為落實專科學校評鑑結果之後續追蹤，教育部目前已針對護理單科評鑑結果組成專案小組，將95、96年實地訪評所發現的問題，分類列入護理科辦學目標與科務運作、師資、學生學習與輔導、課程與教學、資源、教學成果等項目，並據以進一步規劃辦理分區實務工作坊、師資在職實務研習、護理通識教育專案課程計畫，同時並深入檢討護理教育人才培育政策、規範「提升專科學校教學品質計畫」之內涵及管考方式、明訂私校獎助款資本門優先支用之圖儀設備項目，以全面協助並引導提升專科學校辦學品質。

至於例行性的綜合評鑑部分，除了原有的三等系科於受評後第一、二年分別接受諮詢輔導與追蹤評鑑外，尚有其他議題有待持續不斷的檢討與研析，現階段較迫切的議題，係評鑑結果應持續採用現行的等第制？抑或參照高教評鑑及TMAC醫學院評鑑調整為認可制？

此一走向將納入近期內即將展開的98年度新的一輪科技大學綜合評鑑規劃工作首要議題，因涉及評鑑制度本身的發展、評鑑結果的行政運用、自我評鑑結果的抵免、國際專業認證的抵免及相關法規的統整適用等，雖然現今歐美各國高等教育評鑑的主流制度為認可制，但技專校院採用認可制是否妥適？目前正反兩種意見都有，實有賴進行理論、實務、國情三方面之深入探究，使技專校院的評鑑工作更臻完備。

本文PDF檔案下載

2008.07 / 第14期: 評鑑取向的觀點

財團法人高等教育評鑑中心基金會 — Tue, 01 Jul 2008 03:00:00 GMT

近年社會與產業在面對全球環境變遷與競爭下，對高等教育的功能與價值，有著相當廣泛的期待與壓力。而教育行政單位想藉由單一次評鑑的實施就來滿足回應，容易使得單次評鑑功能與目的設計，不是過度膨脹（每件「被期待」的事都是重點），就是過度簡化（只管結果之比較，不管背景條件與過程之差異）。這點可從不論歷次評鑑如何改革，都可聽到許多的批評與不滿得知。

對於評鑑的各種「異」見

以下針對一些常聽到不滿或不同觀點之意見，先予以簡單分類，歸納如下表。

評鑑的各種「異」見

兩難情境的衝突或選擇

以上這些看法，可歸納自以下幾個「兩難」情境的衝突或選擇：

主觀vs.客觀

完全客觀就可完全數據化，可完全數據化就可完全電腦化，就可完全網路化，如此評鑑結果在彈指間即可完成，人（委員）唯一的現場功能就剩「資料查核」。若評鑑之功能僅設定為管控或治理，就好比多年來組織財務報表之功能，而委員則為會計師之角色，亦無不可。

但就像現今管理的新思維，財務報表僅僅能反映過去的表現，而無法預告未來，好比看著後照鏡開車一樣，而組織管理最需要的向前看卻無法有所依循。如平衡計分卡之發展觀點一般，未來尚未發生當然無「客觀數據」可供比較，卻仍可依照組織「主觀之策略地圖」，依成長邏輯檢視與主觀策略有關之客觀「成長軌跡」（員工成長促動流程創新，進而促動顧客購買而產生預期之財務報酬）。而其中貫穿各客觀數據的，仍是主觀策略與執行可行性之評斷，缺一不可。

部分（獨立）vs.全部（總體）

學校或科系之運作應採完形觀點（整體之部分的總和，不等於整體本身），但評鑑所提供的資料，卻是以切割後的「部分」來呈現。因此在引導評鑑委員上易喪失了完形觀點，如傳統國內評鑑多自許為CIPP模式（Contexts, Input, Processes, Project，以機構之脈絡貫穿其投入、過程與產出的完形觀點），但在評鑑格式及評分欄位設計上，則採獨立評分系統。

因此，評鑑的評分就會引發兩種可能：一是，多數委員仍以自身之「完形」觀點，先有總體評鑑後，在各項目間「湊出」其心目中的完形分數；而有些委員或會依評鑑單位所提供評分表一一在各獨立構面上平分後，加計總分。其最明顯的結果是沒人能確定，評鑑政策究竟為何？是獨立vs.總體觀點？我想大概沒人會反對大學教育效益應是完形觀點的吧？只是目前的「客觀」量測工具發展，仍無法滿足「完形」觀點之共通多維多迴路模式（貫穿個別獨立客觀構面之共通主觀脈絡）。

鉅細靡遺vs.系統重點

大學之重點在人才培育，因此在各個時刻、年代所有與社會對人才的需求與觀點，均會被期望放到教育內涵來，這點也無可厚非，在實務教育與教學上卻也需要予以回應或預應。但將這些全部都融入評鑑項目上，就造成權重配分之過度細分化。再加上若是採前一節所提到之「獨立」計分觀點，那問題就更嚴重了。

但採「系統重點」也是不容易，重點的確認，往往引來意識型態、「教育哲學」立論基礎差異等之爭論（光是教育哲學教科書中就不只二十多個立論基礎迴異之學派），形成共識更需要花費時間與心力，而在現今四年一次的大選下，只能企盼政治多留一些獨立的空間給教育事務，讓「系統重點」得有一定的時空包容，形成穩定而較持續的共識發展。

共通vs.差異

國內大學型態相當多元，有公私立差異、大中小型（學生人數多寡）差異、有綜合屬性與否差異（科系數及科系間屬性大小）、有成立年代差異（公立學校年代差異在員額配置上最為明顯，私校則在建築設施等上）、有區位差異（城市vs.鄉村）、有定位差異（研究與教學）等，往往造成各校在評鑑結果出爐後，可以根據前述之各項差異，抱怨其差異性未受到考量等。但若真的根據這些差異予以考量，可以有二種作法：一是分群組評鑑；一是在各構面設置不同的差異標準錨點（anchor）。

目前有分群組的是分成公立、私立，以及分為一般大學與科技大學、技術學院，或已有考量區分成立年代或定位，未來是否再繼續分城鄉、大中小型、屬性？有些區分或許容易而且沒有糾紛，但有些則會有相當的討論空間（如定位），亦涉及到區分的決定權是在政府還是學校自己（如學校是否有權選擇要在哪一群？政府規劃為教學型的學校，是否可自行爭取改變？）

另還涉及到學校對被分群後之社會觀感與價值分類，對多數學校而言，多希望將此權力掌握在自己手上，而如此會對評鑑執行單位造成相當大的執行困擾。而根據不同差異在各構面設置不同之標準錨點，則又更為複雜，需花費相當的時間研究群別差異，並計算差異修正值等。而綜合性的作法則是比照現行公私立分群之作法，先處理現行爭議較小的分群（如學校規模），並整理出差異構面或標準錨點。

相互比較vs.自身比較

近年來社會價值體系似乎把大學評鑑引導成學術或管理競賽，而其透過評鑑大學間的相互比較，提供學子與社會各界認識學校並作為選擇入學或合作之參考等，亦不失為一種管道或方法。

但針對大學競賽式的評鑑作法，在歐美多起源於媒體及部分研究機構，其目的在此就不言喻，且多是採前節所述之「獨立」模式而非完形模式，即針對大學在師資、研究經費與產出、產學能力、獎學金資助等各獨立項目上先提供獨立評比後，按照其機構或媒體之觀點設定構面權重，「加計總分」後予以競爭排名。

這或許與國外社會的家長或學生在入學選擇上，傾向獨立判斷各構面對其重要性，但會自行以完形觀點做決策的習慣模式有關。

確認評鑑取向的定位：
競賽導向或認證導向？

一般機構評鑑，可以有二種以上之取向模式，其一是效標參照導向的認證（accreditation，如IEET工程認證或美國商管學會AACSB商學院認證，認證內的各校相互承認課程水平）或資格證書（certificate，如日本政府針對私校補助所建立的最低資格考核）或執照（license，如美國大學心理系取得美國心理學會APA認證後，該系畢業生方有資格報考各州之心理師執照）；其二為常模參照導向的獎勵競賽或排名競賽（如美國媒體每年調查並公布的大學排名）。

但競賽導向觀點強調的是：所投入的或所產出的比其他人越多越好，是直線模式，不討論或不涉入邊際效益觀點；而資格或認證導向觀點，則是達到一定標準即可，標準之邊際效益會隨環境的整體性條件而變化，多半一段時間即須調整，且要求所有參與者須根據新的標準全部再認證過一次。

因此，若不具體陳述評鑑導向，是否會陷入以下問題：如大學「生師比」之最低標準或訂為20:1，但A校18:1與B校17.8:1，何者為優？按競賽模式，生師比值是越低越好；但若按認證標準取向，則兩者皆OK。但達標準後所額外降低師資員額的成本投入效益，則須視其他條件而有所差異，如B校的科系為技藝類型學校，而其教師較需個別指導學生的操作學習，則其師生比雖比A校好一點，但其相對目標效益則未必是較佳的。在各性質不同的學系或學院間，更顯現其差異性。

另外，競賽取向之本質若引申為機構自身的競賽，本為無可厚非，且較能被廣泛接受，如Terry Taylor（1985）、Charles McClain（1986）等所提出的增值（value added）評鑑觀點，可視為學校自身對學生（顧客）服務競賽之模式。但此種觀點最主要的問題在於，隨著學校聲譽提升，入學學生素質會逐年升高，造成其增值的定義須隨之改變，否則其增值變化空間反而變小。

教育政策決策或改革可借重評鑑，但無法實現於單一次評鑑，而需結合多面向措施與多迴路系統

不論是機構或個人的績效管理，其執行目的不外是為了達成組織控管或治理效益（防弊）等，亦可視為對機構或個人之引導政策目標配合度，因此多隱含有各種投入面向、過程面向、產出社會衝擊（信心效益）或經濟面向效益等管理觀點。而從評鑑之各種關係人角度來看，政府、社會、學生家長等對於評鑑的期望，多是希望一次評鑑結果可提供所有相關決策或管理效果；而學校與教師多半認為一次性評鑑能解構的相關資訊，並不足以解讀所有相關內部的資訊。

所有學人力資源管理的人都知道一個基本原理：「沒有一個或一次單一的工作分析方法及資料來源，可以滿足所有分析的目的」。例如，在管理上提供可以比較組織內部不同性質工作間之相互價值所使用的分析方法，其所蒐集之資料是無法作為設定不同工作間考核標準差別的用途。

也就是說，組織為了達成人員管理的各項功能目的，必須進行多種（次）以上的工作資訊收集方法，才能獲得執行各管理功能所需之資訊基礎。而不同的方法所需借重蒐集資料的對象，亦有所不同，有些需借重內部直接作者或其上司或同事，有些則需借重外部專家或顧客或供應商等。這些多元方法與資料來源的背後，隱含著各式的成本與價值，而最佳之組合需求則取決於組織策略與階段政策，相當複雜，但可確定的是，執行多元觀點的成本，對成功的機構與人員管理是不可省的。

如過去各界多方討論「認證」是否可取代現行競賽式導向之評鑑，其問題或應不只是「可不可以取代」，而應先問是否讓上百個不同類型的大學如何一起競賽？還是分群分級後再競賽較有意義？再問「教育行政管理上是否需要同時實施認證加上競賽導向」？而認證導向評鑑配套的管理措施有哪些？相對的，競賽導向的呢？

現今的企業管理趨勢已從以往著重績效評估（performance appraisal，強調「正確」指出過去一段時間以來之表現，以作為獎罰等依據），轉向更強調績效管理（performance management，強調員工或單位自身成長指標與組織目標之結合）。教育主管單位此時是否更應好好思考，針對所屬各高等教育機構的評量，究竟應採哪一個評鑑取向為主體，方能較符合高等教育所應扮演的國家發展目標角色？

評鑑中心回應

文／高等教育評鑑中心

目前國內高等教育所實施的大學評鑑分為校務評鑑、系所評鑑、科技大學評鑑與技術學院評鑑等四種，根據評鑑結果的呈現方式又可區分為「等第制」評鑑與「認可制」評鑑兩種制度。

其中，校務評鑑、科技大學評鑑與技術學院評鑑屬於「等第制」評鑑，也就是評鑑結果以等第方式來呈現；評鑑中心所辦理的系所評鑑則屬於「認可制」評鑑，這也是現今歐美各國高教評鑑所採取的主流制度。

認可制評鑑的特點為評鑑結果不排名也不分等第，而是給予獲得認可者「通過」、未獲認可者「待觀察」或「未通過」等不同程度的結果判定。以此次系所評鑑來說，並沒有一套固定、統一、僵化的評鑑指標，而是由系所自己提供數據與事證，根據自訂的辦學目標，檢視辦學措施是否符合自訂的目標、有無建立與落實自我改善機制。

因此，系所評鑑認可制是主、客觀兼具，且根據五大評鑑項目做全部、總體的判斷，並且強調「系統重點」而非「鉅細靡遺」，同時注重學校特色與個別化、差異化，不做校際、系際的相互比較，只做自身比較，因而無所謂「共通」或「差異」的問題。

本文PDF檔案下載

2008.05 / 第13期: 向企業學習：克伯屈的四層次評鑑

財團法人高等教育評鑑中心基金會 — Thu, 01 May 2008 03:00:00 GMT

技專校院愈來愈面對生源減少、經費緊縮等壓力。教育部也正透過評鑑、系科本位課程發展機制訪視等措施，希促成各校院的系所班次持續健壯體質、提高效能。由於企業經營管理相當講求經濟效益，所以有一些面向或事項值得學校學習，克伯屈的四層次評鑑即為其中之一。

企業界最廣用的訓練評鑑模式

克伯屈（Donald Kirkpatrick）自1950年後期以來，持續針對訓練班次（training program）的評鑑，發展出一個系統化模式，這個被稱為克伯屈模式（Kirkpatrick model）或四層次模式（four-level model），大致如圖一及表一所示。

層次I、II、III依序著重評鑑受訓者的滿意程度、習得知能、行為改變與學習遷移，第IV層次則著重評鑑受訓者行為改變與學習遷移對其所屬組織所產生的成果，亦即第III層次評鑑訓練產生的個人績效，第IV層次評鑑訓練形成的組織績效。四個層次都著重評鑑訓練結果（outcome）。

圖一克伯屈模式的四個層次

表一克伯屈模式概要

評鑑層次愈高複雜度愈高

克伯屈模式由於簡明成熟，目前是企業界評鑑訓練班次的標準程序。美國訓練與發展協會（American Society for Training & Development, ASTD）的「2005年產業年報」（Sugrue & Rivera, 2005）指出，參加該協會標竿論壇的組織中，採用克伯屈各層次評鑑的比例依序為91%、54%、23%和8%。但是獲得該協會BEST獎的所有組織都採行第IV層次的評鑑，以了解學習與組織績效之間的關聯。

因為評鑑的層次愈高，複雜度和所需努力也愈高。所以克伯屈（Kirkpatrick, 2006）建議所有訓練班次都要評反應，再考量可用評鑑資源、班次開設頻率、班次花費成本、評鑑所需成本和高階主管興趣／要求，擴充到評學習、行為與成果（含return on investment, ROI）。圖二是選用評鑑層次的檢核表，可供參考。

圖二選用評鑑層次的檢核表

技專校院開設的教育訓練班次亦可適用

教育與訓練的主要區別在前者的目標較遠大、時間較長久，所以有人說：教育是長期訓練，訓練是短期教育。技專校院既提供教育班次也開設訓練班次，學員／生從青年到成人都有。克伯屈模式也適用於技專校院各種學制系所科班的教育／訓練班次（educational/training program）之評鑑。

就技專校院講求務實致用的精神而言，其教育／訓練應對準職場需求。圖三所示學員／生從教育／訓練到職場的五個評鑑點如下：1.接受教育／訓練前，2.接受教育／訓練中，3.接受教育／訓練後（或進入／重新進入職場前），4.在職場工作中，以及5.離開職場時。

圖三四層次評鑑的評鑑點

克伯屈的反應層次主要在第3評鑑點做教育／訓練後的總結性評量（summative assessment），但也可加做第2評鑑點的訓練中之形成性評量（formative assessment），前述回顧式的總結性評量也可延緩至（或加做）第4評鑑點。以煮湯做比喻，總結性評量似在評已上桌的湯，旨在判定優劣；形成性評量像評尚在鍋中的湯，旨在及時改善。

克伯屈的學習層次須在第1、2、3評鑑點都做，才能了解學員／生從教育／訓練學到什麼知能和態度（KSAs），以及了解學員／生在接受教育／訓練中須及時改善什麼。克伯屈的行為與結果兩個層次則主要在第4評鑑點進行，有時重覆評量至第5評鑑點。

技專校院評鑑採用克伯區模式的考量

技專校院開設的訓練班次可直接援用克伯屈模式及參考已被發展出來的許多手冊、指引、表單等。但技專校院提供的教育班次在採用克伯屈模式時，宜多做下列考慮或留意（Boyle & Crosby, 1997）：

1.每門課或每個班次結束時和進行中都該借重詢問、傾聽或填表等了解學生的反應（第I層次），這種反應評鑑主要是「學生對教師教學與課程的評鑑」（student evaluation of teaching and course），涵蓋面比時下許多校院實施的「學生對教師教學的評鑑」（student evaluation of teaching）寬廣。

2.學生喜歡這門課或這個班次（第I層次），並不等於他／她已學到該學的知能與態度（第II層次）。

3.校院已常借重平常考、作業、期中考和期末考等方式評鑑學生的知能與態度（第II層次），除持續留意其信、效度之外，該加強進行施教前的評鑑，以便更明瞭學生起始能力和習得能力。

4.校院應更清晰了解到，必須評鑑學生在職場應用所學的資訊（人事時地物或5W1H），才能做好第III層次的評鑑，特別是對在職進修、建教合作、校外實習班次，尤須落實評鑑學生在真實工作環境中應用所學的程度。

5.校院在資源與資料許可時宜做到第IV層次的評鑑，擬訂第IV層次評鑑計畫有助於提前發現受評班次的弱點，而透過第IV層次評鑑獲得的正面結果，也最能肯定受評班次的價值。

參考文獻

Boyle, M. A.& Crosby, R.(1997). Academic program evaluation: Lessons from business and industry. Journal of Industrial Teacher Education, 34(3), 81-85.

Crone, G.(2005). Evaluation of executive training. Retrieved March 20, 2008, from http://www.tbs-sct.gc.ca/ eval/pubs/eet-efcs/eet-efcs_e.asp?printable=True.

Kirkpatrick, D. L.(2006). Evaluating training programs: The four levels. Retrieved March 20, 2008, from http://astd2006.astd.org/PDF's/ Handouts%20-%20SECURED/M102.pdf.

Nickols, F.(2000). Evaluating training: There is no“cookbook”approach. Retrieved March 20, 2008, from http://home.att.net/~nickols/evaluate.htm.

Sugrue, B.& Rivera, R. J.(2005). 2005 state of the industry report: ASTD's annual review of trends in workplace learning and performance. Retrieved March 20, 2008, from http://www.astd.org/NR/rdonlyres/563C2472-1F53-4BEE-8213-7CC19BC532C5/0/ASTD_StateoftheIndustry_2005.pdf.

The University of Georgia.(2003). Kirkpatrick's levels of evaluation. Retrieved March 20, 2008, from http://www.stfrancis.edu/assessment/Kirkpatrick_1.pdf.

U.S. Department of Transportation.(ud). DOT training evaluation guide. Retrieved March 20, 2008, from http://dothr.ost.dot.gov/hrprograms/ learningdevelopment/trainevalbp/trainingEVALGUIDE.pdf.

本文PDF檔案下載

2008.03 / 第12期: 技專評鑑的成效與反思

財團法人高等教育評鑑中心基金會 — Sat, 01 Mar 2008 08:00:00 GMT

近年來各界對技職教育評鑑之辦理，有著相當多不同的意見。先容我簡單綜合教育部技職司所持續辦理技術學院與專科評鑑各年結果，在這90幾所新舊技專校院之實際校務發展歷史中較明顯的成長：

評鑑大幅改善技專校院體質

一、財務不健全的、過度干預校務運作、甚或無法挹注更多資源提供辦學之董事會，逐年因評鑑被檢討而減少，加上生源日少之市場壓力，學生家長等選校有較公開資訊提供等，迫使許多私校董事會調整心態，甚至有些更主動調整董事會結構，吸納更多公益董事，以迎戰公立學校為目標。

二、公立學校間、私校間及公私立學校間，因評鑑資料與結果之透明化，以及競爭壓力，使各校在各種資源的努力爭取與各項教學資源之投入等之價值創造，明顯增加許多，而不再像以往多以「節源教學開支蓋校舍」之成本導向為主。

三、累積各年之行政類評鑑結果顯示，多數學校之各類行政程序（如教務之學籍與課務管理系統、總務、人事、會計系統等）與行政電腦化多已具備，各校間已不再是被動之有無或因應的差別，而是服務之主動性或預應程度之差異。

四、在鼓勵教師進修取得學位或取得證照及實務經驗方面，這十多來年更是所有技專校院共通的特色。教師主動參與國內外研討或業界觀摩研習等之比例高，更是對我國技職高等教育，注入源源不斷的求新動能。

五、這幾年幾乎所有來自各界之評鑑委員均一致發現，比較起一般大學，雖然多數技專學生並非來自傳統精英教育，但技專校院教師盡心對學生的教學與輔導投入，特別是在課程外對學生在實務經驗之取得與證照取得，那種幾近不計報酬的額外付出，是我國教育對產業人力培育重要之能量基石。

六、系所科之基本運作機制（如教評、課程、資源委員會議制等）多已建立，雖然在運作之程度與內容及成效上有些差異，但相關之團體領導及回饋模式已多有雛形。而配合多年來教育部政策所推之系科本位課程、跨領域學程、就業／最後一哩學程、實習／實作課程比例、證照輔導、提升英語能力計畫等，雖各自在執行之資源與內容上有所差異，但在各校系間均多已成為具體目標及師生可朗朗上口之教育共識。

對外界質疑技職評鑑問題的回應

雖然每年均仍有發現校務行政或專業科系等均需再努力的方向（如包括：財務更公開透明、強化共同參與管理之機制、系科定位與校內資源投入須更對焦等），但從前述三十年來技專校院在各方面累積成長進步後，是否也意味著下一波技職教育評鑑，須開始思考評鑑要扮演之功能與角色。

在歸納個人對未來技職評鑑發展之角色功能看法前，先針對過去技職教育評鑑辦理多年來，各界質疑過但仍存在的幾個問題，提出個人的淺見：

一.各界似乎總覺得實地評鑑之時間過短，無法充分了解學校或各科系之辦學。很多人覺得實地評鑑時間多才能讓來自外部的委員，從各種角度、資料、資料提供者（教職員及學生等）充分了解學校或科系之種種面向，這點不論是從「論斷」學校或科系的好壞或「回饋更多資訊以供後續成長改善」等目的來看，都是非常需要且正確的。

這也是目前在各公司行號執行人員績效評估上，目前最迫切需要之績效管理功能，「行為導向是績效評估—建立有共識且可觀察之行為指標，長期紀錄並據以成為回饋之具體項目」。但國外數據顯示僅有不到二成之付得起經費的大型企業嚐試去做，原因在於成本、時間與對效益追求之決心。

• 經費成本與委員機會成本應一併考量

先就成本來論，實地評鑑時間的多寡是與可投入資源成正比的。而資源亦不只是評鑑經費而已（目前科大加技術學院與專科一年評鑑成本就近二、三千萬以上，而且全數是教育部經費支應），尚且須包含委員之機會成本（一年20校，每校三天，一個委員就須將他一年可工作的200多天，讓出60天來投入評鑑；而技專校院有近90所，約分四年一輪，也就是沒有一年是可休息的）及其他的管理成本等之增加。

即使教育部能解決經費之籌措（或請學校申請付費等，目前只有專案評鑑是學校繳費或扣補助款），執行實地評鑑加長時間中，最困難且關鍵的應屬委員之機會成本。

基本上要全部是專職之委員（須包含各領域專家及業者且其專業能持續跟上新知者）勢必是有困難的，而解決方法不外：聘請退休人士或聘專職之評鑑專家（以現行一年20校技術學院評鑑，以最多科系之學校來看，行政加專業類科系近百人，可能嗎？）；或仍以現行兼職委員為主，但打散讓前往各校系之委員較不重複的方式來執行（須更加強委員間之共識與評分基準）；亦或綜合前兩種作法。當然這方面若真的努力花一些時間與經費進行溝通、整合、訓練、說服各校各界等，亦應可逐步修正達成。

• 評估拉長訪評時間的效益

當然成本不應是唯一的考量。接下來就效益面來看，那麼先須定位，拉長的時間（多一天、二天、一星期）要做什麼？更仔細查閱或比對資料？參與觀察教師上課及教材使用情形？深入了解各實驗或專業教室使用情形？實際參與學生校內外實習課程或實作課程？多與一些學生及教師個別深入晤談？多增加畢業校友甚或家長晤談？晤談產學及實習合作廠商或機構？

以上有許多在增加了時間後，是實地評鑑可以去做的。但每個科系因專業領域不同，應著重在哪些項目？現行護理專業評鑑五天評鑑以著重增加對實習機構、實習與教學程序及內容等為主，可是工程類呢？商業或其他社科應用類？是否亦應先重各專業領域教學品質確保之架構差異，比照護理領域，請各專業學會組織先行研究設定，或許需增加之天數與著重項目，會有相當大之差異。

• 審慎處理與評鑑委員的對話

再者，多半所增加之時間，不外是希望增加委員與受評單位間對話之機會。而過去有限時間無法提供與受評單位充分對話之機會；就算有時間，可能亦無法充分展現對話帶來之效益：可能是畏懼委員權威，或受評單位（包含教師與學生等）只想揚善隱惡無法據實陳述事實，或委員未具備有「對話」之態度或耐心等。

而對話引發之內容究竟是以收集與確認資料作為「評價」用，還是作為回饋建立未來改善參考用，更須在評鑑一開始就有非常清楚的釐清與訓練，否則所增加之「對話」時間，更增添了後續評鑑結果公告之爭議性，需要非常小心。

二、外界反映所有該評鑑之事項均應可量化、客觀化。

有關這點應分為兩個部分來看：

•評鑑項目列之數據，應是定義很清楚（各校間不會模糊的）與可查核的。

有關這點在七年前校務基本資料庫系統建構時，就已面對並逐年從教育部、教育研究專家及各校座談間討論、確認、修訂。雖因教育指標有時在一些看法上會有所不同而不至於全面完善，但已建立回饋修正之機制與模式。學校針對所提供的數據，並應於評鑑前後準備好非常詳實的資料供確認。

• 評鑑是否應排除主觀部分，完全依賴具體客觀之量化資料？

或許有些學校會這麼認為，若是評鑑像聯考一樣，考前有明確之命題範圍，公告題型，考後題目有一定的標準答案，這樣就不會有爭議了；但評鑑是教育部向所有被鼓勵或被賦予「不同」定位學校之過去所做的「統一」成就考評排名嗎？所謂主觀的部分不就是在那些定位差異下，各校與委員間應有之對話詮釋的權力嗎？而放棄可包含對未來發展看法與預測之質性主觀的對話，與僅採統一客觀之題型與答案（量化）難道是最好的解決方法？

這似乎不是一個用二分法去尋求「最佳解」的問題，應是需依賴評鑑利益關係人彼此的信心與信任共同尋求「最適解」。

三.有人質疑評鑑真的能反映技職教育與一般大學辦學之差異？

這可分為以下二點來探討：

• 一般大學教育與技職高等教育之評鑑架構與內容應有何不同？

目前評鑑似乎是將主要之差異放在：技職比起一般大學更應多著重產學案，課程應多證照／實務導向，追求學生畢業立即就業之比例要高等。在量化資料上，評鑑已明確要求出這些項目之數量區隔。

而配合質性主觀的部分，則透過評鑑指標與行前說明，依賴各委員進行以下之了解：教師普遍了解達成這些項目在教育／教學原理之差異嗎？還是表層之課程名稱與教學內容實務化？對實務化之方式了解嗎？認同嗎？當然有些較根本的問題是學校在評鑑上較難解答的，如：所有選擇進入技職領域求學之學生是否都認同應接納不同之教育原理嗎？這是學生對教育政策之選擇與政策傳播的議題。

• 各技專校院科系如何展現其與一般大學不同之教育／教學學理？

各系科經常需面對以下問題：高等技職教育之所有課程都應實務化嗎？還是比重問題呢？有比重就有孰重孰輕之爭？比例在各專業領域都相同嗎？誰有權利決定比重呢？還是各科系應在原理原則下，自行研究分析就業市場能力需求特性及學生來源特性後，自行訂定課程原理並發展出執行方案？

而未來是否能在各校之自主與自制成熟度都得到教育部信任下，科系之評鑑重點能夠調整為「各系在該方案形成分析之良否、方案執行之投入程度及產出等」，則有賴大家共識與努力。

一次性評鑑難以達成所有目的

歸納以上的觀察與淺見，個人覺得未來除非能依評鑑目的之不同，分別以不同型態之辦理方式加以執行，否則一次性評鑑要達成所有目的，其效果不但令人質疑，亦是不可能達成的。

就如同一般組織之人員績效評估一樣，要能作為過去所設定標準下之達成度的確認，又要作為能為未來持續成長而收集各方意見之績效回饋，其中廣泛涉及到績效評估時點（定時vs.隨時；系列vs.間隔）、方式（客觀vs.主觀）、參與人員之各種心態等，需要非常大格局之整體規劃分析與選擇。

國際認證能否取代技職評鑑
有待凝聚共識

再者，如目前已有國際工程教育認證、美國商管學院認證（AACSB）等，其宗旨並非取代教育部對各大學院系所辦學之督導權，而是民間各專業團體自身對教學品質認證之自我體認與要求。因此，如技職或高教之教育政策差異，是不會在這樣的認證系統中予以區分或強調的（各認證系統多半是由各院系所自訂研究或教學與服務之定位）。

這也就難怪目前政策上仍遲遲無法決定「通過國際工程認證之科系是否可以直接取代現行評鑑」之原因。畢竟現行教育評鑑中仍隱含著教育部必須對其教育政策執行情形負責之壓力。

因此，未來是否能根據「學校必須面對的教育督導（教育政策之配合及執行度）」、「參與全球同領域專業團體之教學品質要求認證（共同認定之教學品質確保過程與程序認證）」、「顧客／市場導向之自我成長（取得社會家長或學生之特殊認同與興趣等）」等，予以區隔出不同教育部與非教育部主辦但獲認同採認之各類型評鑑，則有賴大家的共識與努力。

本文PDF檔案下載

2008.01 / 第11期: 護理科評鑑採行學生成就進步評量的提議

財團法人高等教育評鑑中心基金會 — Fri, 04 Jan 2008 06:00:00 GMT

為能提升各護理科之教學、發展與科務行政等水準，增進各護理科之辦學績效，繼續加強全方位護理教育，教育部技職司委由「臺灣護理教育評鑑委員會」獨立於技專校院其他類科校之評鑑系統外，著手規劃護理類科評鑑，首年以評鑑護理專科學校為主，其後再慢慢擴展至評鑑大學部護理類科系，期望藉由同儕檢視方式提倡護理教育的自我治理與追求自我成長，以更能切合護理科系之特質。

在護理科評鑑的期間，更逐年修訂評鑑規範，以回應對不同層級學校護理科評鑑的需求。由於護理單科評鑑關注於「學校全體教師與組織之不斷自我成長」，而不僅僅是每年的量性成果（像是考照率等），和學習成就進步評量所關注之「學生學習成長」在概念上相似。為因應此評鑑制度的變革，以學生「成就進步評量」（value-added assessment）作為護理科辦學品質的證明指標之一，或許為可行之策。

學生成就進步評量的概念

「成就進步評量」一詞，最初是從經濟學「附加價值」的文獻而來，原意是指：教育中所增加的投入，在控制某一個時點的成就下所產生的成效。將此概念應用至教育學領域，可詮釋為：歷經一學年之後，學校或教師對於學生進步的獨有貢獻，而非指總和的教育成效或學生背景因素造成的影響。

也有學者將學生「成就進步評量」稱之為學生「成就增值評量」、「加值評鑑」、「歸因增質成長」或者「學習成長評量」。由於傳統的學生學習成效報告，無法呈現出逐年的成長比較，為了得到學生個人長期的學習成就水準，並合宜的測量進步情形，而不只是得到每年的平均分數，而有了這樣的學習成就進步評量系統。

學生成就進步評量主要的處理原則，是將學生今年的進步和前一年的進步做比較，以學生每一年的學習成長情形，作為評鑑學校與教師對學生學習的影響的基礎，是一種借助統計方法，將學生學習成果於控制學生人口變項與學術準備等方面的差異後，對學校或教師的教學效果或貢獻做出判斷的評鑑方法，學校主管不但可以知道「各年級各科的學習成效」如何，也可知道課程設計對於「提升高學業成就學生和低學業成就學生的成長或進步」之成效。

評量學習成效有助改善教學

在美國，學習成就進步評量已有許多州或學區等採計作為評鑑學校或教師效能的依據，例如田納西州學生成就進步評量系統（The Tennessee Value-Added Assessment System, TVAAS）、北卡羅萊納州學生成就進步評量系統（North Carolina model）、新賓州學校成就指標（New School Performance Index, new SPI）、湯普生標準本位評鑑模式（a standards-based model in Thompson, Colo.）、亞歷山卓績效評鑑方案（Performance Evaluation Program, PEP），均是極有制度與規模的評鑑機制。

當然這些評鑑系統有些是用來評鑑教師，有些用來評鑑學校，有些兩者兼具；用來衡量學生成就進步的關注焦點不同，所採用模式的公式與計量考量亦有所差異，雖然當前的相關文獻上可以看到各不同系統的特色，也有許多對各該系統問題與限制的討論，然而以長期性的電子化學生評估資料為基礎，多數社會大眾仍然願意相信，我們的老師辛苦的工作，同時學生也有很大的進步，藉由學生成就進步評量的分析，可以確認我們的觀察，也能提供更適切的效能資料，讓學校或老師來改進教學。

採行學生成就進步評量的利基

在國外，採行學生成就進步評量的評鑑系統，多以標準化測驗為基礎。由於五專前三年的課程多屬部定課程架構，且學生在就讀專科以前並無護理相關專業訓練，因此無論以共同學科或護理專業科目的學習成就進步情形來衡量教學的績效，都可符應以標準化測驗為基礎的評鑑需求。

再者，以當前各層級學校評鑑的現況，注重教育的產出與學生成就是共同的趨勢，以護理科評鑑為例，評鑑準則內容就包括「辦學目標與系（科）務運作」、「師資」、「學生學習與輔導」、「課程與教學」、「資源」，以及「教學成果」等六項評鑑指標，另外不同於其他科系所評鑑的慣例，在其中課程與教學方面更規劃出「一般照護技能」、「一般基礎醫學」、「問題發現與改善」、「尊重生命與關懷」、「敬業精神」與「自我成長」等護理專科層級的教育所應具備的六大核心專業能力與學養內涵，則是專科學校評鑑針對個別類科特質而設定規準內涵的創舉，而這也是專科學校評鑑標準的設計上可以且應有的努力方向。

在作者訪談專科學校護理科主任及資深教師時，有如下的看法：

「我非常認同這六大核心專業能力，假如妳有這六大核心專業能力的話，妳應該是個稱職的護理人員。這六大核心專業能力應該是在她整個課程裡面蘊含的，你要怎麼樣去呈現每個科目怎麼樣去蘊含到，可能要去想它的課程設計，應該是整個五專來看，所有的課程包含這六大核心能力。但是因為她自己也沒有很多的想法，只是覺得這個很重要而已。那東西……也不知道是什麼。就自己各自描繪。如果你們可以把核心素養找到，我覺得那倒可以是一個，……如果這個評鑑是一直在進行的話。」

以量化工具及評定價值指標進行評鑑

當前對於護理科特有的六大核心專業能力與學養內涵，多數評鑑關係人對據以衡量優劣的絕對或相對指標並無具體概念，也少有對可培養六大核心專業能力的課程統整措施或能力管考有具體作為，因此雖然受訪者相信這六大核心能力是應蘊含於課程的實施中，但量化的工具與評定價值的指標建立，將是下一步推展護理科採行學生成就進步評量以為評鑑系統基礎的重點。

有一位受訪的資深教師做如下的提議：

「現在評鑑又要求那個核心素養，所以我會建議你們乾脆從核心素養去看。那個，那個就是他們要的嘛！而且未來評鑑如果這樣走的話，核心素養就不會牽涉到學科的問題。」

四大策略建議

依據以上的論述，提出護理科評鑑採行學生成就進步評量可行策略如下：

建立六大核心專業能力及共同學科的年級標準化測驗工具

既然標準化成就測驗是以學生成就進步評量判定學校或教師教學良窳的基礎，因此年級標準化成就測驗工具的開發就是首先要處理的議題，針對並無專有課程對應六大核心專業能力培養的問題，受訪者有如下的看法：

「我們護理科做的是我們把課程全部抓出來，然後一個一個看，看一年級的課程設計，然後一年級要達到的目標，然後五年級之後她要達到的總目標，對，一年級的目標裡面，總目標包含六大核心能力都要達到，那我們還會去看說，指標就是六大核心能力嘛！我們會去看說，一年級可以達到六大核心能力的哪些東西？哪些沒有達到？」

建置標準化成就測驗及學生評量資料庫

受評主體價值或優劣的判斷，即使是仰賴專家的決策，也必須是植基於足可提供判斷的資訊，因此如何取得正確的評量資料及資料的維護與管理，甚至累積多年期的資料以供長期趨勢的分析，都是極富意義且可行的作為。

再者，資料庫中的資料應有一些統計上的考量，儘量蒐集能對應到每位學生的個人資料，如年齡、性別、校名、家庭社經背景等，以作為校正統計模型誤差的基礎。

初期應用先以學校或科系等單位評鑑為主，再推廣至教師評鑑

以學生成就進步評量作為評鑑學校效能或教師品質的基礎，當前持續受到政策制定者及評鑑研究者的背書，然而當前一些研究如Stevens及Zvoch在2006年也撰文指出，以學生成就進步評量對標準本位績效責任的意識型態具有心理測定學上的不安定性，如果再有如Bracey在2004年對田納西州學生成就進步評量系統質疑的，包括在個別學校中，以所有教師排名的常模參照測量來衡量教師績效、教室中與其他外部世界的影響是相互獨立的、教師被分派到高低成就班級的教學效果是一致的、教師會對同一班級中可能產生高增益學生與教授起來較具挑戰性的學生有同等的關注等等錯誤的基本假定，則學校教育的成果與整體學生的成就將是值得擔憂的。

因此建議採用學生成就進步評量作為評鑑系統的基礎時，先以評價學校整體效能為優先的應用，俟對應用於評鑑教師個人所可能產生的非預期性負面影響加以充分考量後，再逐步推展至個人評鑑，將是較為可行的策略。

嘗試以建置的資料套用於現有的學生成就進步評量模型，
並克服文獻中各模型的限制

文獻中多有對以學生成就進步評量為基礎的評鑑系統所遭遇的問題提出討論，包括Darling-Hammond及Post在2000年指出，成績與人口變項具高度相關，如種族、學生社經地位等；Andrejko在2004年撰文認為，有了精密的量化測量學生成就後，可能忽略質化要素的影響；學校也可能為了增加學校效能而提高了低成就學生的流動率。同時，Ladd及Walsh在2002年也認為會有如學生成就愈高的學校會吸引高效能教師、可能獲得較佳的資源、產生更正向的同儕效應，以及反之亦然的非預期效果。

而這些種種的問題是在文獻中呈現的，也是我國要採用學生成就進步評量來進行評鑑系統規劃時，應有先設計一些機制加以調控的考量。

本文PDF檔案下載

2007.11 / 第10期: 未來技專校院評鑑執行策略與指標發展評析

財團法人高等教育評鑑中心基金會 — Thu, 01 Nov 2007 06:00:00 GMT

自民國64年起，教育部為了解各專科學校的辦學品質，以作為輔導、獎勵及核發學校各種申請案件之參考，每年皆辦理各類技專校院評鑑工作。逐年為求改進評鑑工作的品質，亦不斷檢討評鑑類別的規劃、評鑑作業制度化、評鑑指標與表冊，並且建置評鑑委員人才庫與評鑑資訊系統等。

經過多年的實施與改進之後，目前技專校院評鑑（依科大、技術學院、專科三個學制逐年循環辦理）在內容上，則依行政類與專業類兩大類，各自建構其不同的評鑑構面與指標內容（如表一與表二）。

表一行政類組評鑑項目配分表

表二專業類系科評鑑項目及內容配分表

技專評鑑效能雖顯著
衍生問題亦值得注意

技專校院評鑑工作近三十多年來的持續辦理，著實產生了反應行政督導、引導良性辦學競爭等不同階段之功能，特別是這幾年已有以下幾個顯著的效能：引發辦學理念與成效資訊的公開化；促進各校之自我檢視與改進；優劣比較激發技專校院品質的蛻變，同時提供社會大眾對於技職教育的進一步認識以及足夠的省思空間，並間接地促進學校教育品質的提升等。

而技專校院的評鑑對於技職教育的辦理雖已產生督促作用，進而使技專校院的辦學品質產生明顯的改進效益，但這種以外部督促為主的評鑑制度卻也產生了另一些值得注意的衍生性問題：如市場價值衝擊菁英培育的教育功能；評鑑成績趨於中間扁平化，顯示各校漸失其發展特色；技職教育實務技術特色與優質高等學府之間的「社會價值」衝突等。

不宜僅侷限於目標導向的評鑑

教育評鑑往往因為評鑑目標和對象的不同，或因評鑑者強調不同觀點而有不同的取向，一般國內評鑑規劃時會採行之評鑑策略考量，主要有五大類執行策略導向：目標導向、抗詰導向、消費者導向、專家導向及CIPP模式導向等。

這些不同的評鑑執行策略，各有其著眼點和背後理念，亦有其相對的功效，但其最終的精神卻一致地期望評鑑的歷程和結果，能夠真正為學校提供改善的建議。目標導向和專家導向的評鑑模式，均比較著重於以評鑑的目標以及專家的論點為出發，對於技專校院進行分析與評論。因此，評鑑的主體究其所扮演的角色著實較為被動。

相對地，消費者導向的評鑑模式則是側重以消費者（學校和學生）的觀點去看待教育這個產業，而能適時的讓受評者得以據此去進行改進的相關工程，並更進一步適時切合該產業消費者的需求。

亦即技專校院的評鑑，不應僅侷限於目標導向的評鑑取徑，以避免對於學校目標有所限定，徒使評鑑指標過於具體，反而可能造成評鑑工作只依循指標而過於制式化，以致無法發揮學校特色的創新和評鑑真正的功效。

評鑑指標太多問題漸浮現

另在學校行政評鑑構面或指標方面，個人觀察到各構面與指標雖有隨著各年代達成之階段任務外，隨著整體經濟、社會與教育環境之變遷，亦逐漸顯現出一些高等教育政策發展需求與評鑑指標脫鉤的現象。茲歸納如下：

指標過多且彼此間關聯性
無法反映在評量計分上

各年來累積許多來自行政院各部會或立法院期待透過學校功能協助解決社會問題的項目，個別來看都有其需要，但逐一作為評估一大學的發展功能時，則會喪失校務主軸性。更何況其中有許多項目是以區分「有沒有做」為主，而非作為區分學校「做到的程度」（較像是應檢核之必要項目）。

此外，通識教育與一般基礎科目的辦理情形，在整體校務評估中經常不易被發現問題，而在專業類評鑑中亦更容易被忽略。歸咎其原因，亦是有太多需要「被評鑑」的項目；就算指標都加進來，也是占百分比多少的爭論罷了，雖然看起來每個指標都很重要，但其實只分到極小的百分比，反而變成每個指標都不重要。

構面間所扮演之角色無法凸顯

早期校務評鑑是以二十多年前國立學校之行政組織架構，如教務處、學務處（訓輔）、其他支援之行政單位（總務處、人事、會計）作為參考架構，評鑑構面的設計功能較接近行政督導與稽核的角色功能。即便後期增加了綜合校務構面，亦僅是將校務發展、研發、產學服務等過去二十年前未凸顯之單位功能予以增加而已。

而在邁向二十一世紀後，校務行政評鑑勢必更朝向肯定校際差異特色化發展的方向，其中必須反映出「特色定義必須有其市場性及社會功能性」、「特色與投入及過程之結合性」、「產出與特色定位之反應與回饋性」等特性。

因此，過去各單元各自計分後按權重加計總分（例如校務評鑑總分由校務發展、教務、學務、行政支援等四項的個別分數加權加計而成，權重的多寡反映當次評鑑的方向）之評鑑評量計分方式，亦須有所改變。

校務評鑑可引進企業績效評估
區分保健指標、成長指標

未來之校務行政評鑑，是否可參考現今企業績效評估運作的系統，先區分出「保健指標」（落後指標／必要條件）與「成長指標」（領先指標／充分條件）。其中「保健指標」可包含行政支援系統（如會計財務制度與內稽、人事、總務行政等）、教務行政、學生事務行政之公開與完整等，以個別指標之達成度為門檻或優異度效標。

在執行上，或可考量先進行以目標導向與消費者導向評鑑策略及檢核評鑑方式，進行「保健指標」之評分，未通過基本門檻者（如80分），則要求追蹤改善，通過「保健指標」之學校，方有資格進行「領先指標」之評鑑。

而在「領先指標」評鑑部分，則可結合抗詰導向、專家導向、CIPP模式導向等評鑑執行策略，以學校目標定位與社會市場功能之結合性，作為縱向連結教學、服務、研究等辦學成效之檢視依據，提供學校成長特色歸納與建議，作為外部了解學校，內部檢討執行情形並修正之參考。

而教育管理當局在獎補助措施上，亦可將補助款分配與「保健指標」評鑑結果相結合，獎勵款則與「領先指標」評鑑結果結合。

改進專業評鑑四點供參考

另在專業類評鑑指標修正方面，僅就個人經驗提供未來規劃調整參考：

一、未來評鑑似宜增加校內資源整合的創新機制，而非僅限於單一科系的發展為評鑑重點

基於專業人才職場能力的需求已明顯趨於跨領域之整合能力，技專校院的教學亦須力求資源整合，以求創新和教育效能；評鑑具有引導與提升學校發展規劃之效能，宜強調校內資源整合的創新機制，而非僅限於單一科系的發展為評鑑重點。

因此，未來技專校院評鑑的指標，除須繼續重視各專業科系的辦學績效之外，亦將強調校內科系間的整合機制，包括：1.師資互補與整合機制；2.教學協同與整合機制；3.課程互補與整合機制；4.學術研究與技術開發之整合機制；5.圖儀設備共享與整合機制等。

二、評鑑項目的配分比例宜考慮適度彈性機制，以符合各校科系發展特色

教學、研發與教育推廣，一直是高等教育體系辦學的主要任務，然而，各校卻可能各自具有辦學特色。在過去的評鑑結果中，評鑑項目的一致性配分比例，似難以符合各校不同發展特色的合理性，因此，似宜改進為各校可自行在一定範圍內的選擇配分比例，以適度反映其辦學重點（表三）。

表三以專業類評鑑項目配分彈性範圍為例

同時，過去所公布的評鑑報告，分作背景、投入、執行策略、產出成效等四項，似乎並非社會大眾所欲了解以作為選校參考的資訊。綜此而言，未來的評鑑報告似宜著重中長程發展規劃、師資專長、教學品質、課程規劃、研究與技術發展、圖儀設備，以及學生發展。同時，亦宜改採適度彈性的配分比例，容各校反映其辦學方針與特色。

三、宜更強調師生的實務技術（專題）研發成果

技職教育本以應用理論於實務技術的精進，與培育社經發展所需之人才為主旨，技專校院的成就自當著重於師生的實務技術（專題）研發成果。因此，未來技專校院的評鑑指標或可多側重：1.教師的實務研究及學術研究成果；2.畢業生進入相關職場之比例；3.畢業生就業率、證照取得率及升學率情形；4.企業主對於畢業生之評價；5.辦理產業發展所需之回流教育成效。

四、宜適度強調外語能力的加強措施和具體成效

全球化的加速來臨，外語能力的加強已是現代專業人士職場必備的重要條件，亦是個人持續不斷吸取各種專業新知的有利工具，即便過去「技職教育」似乎就是外語不好才來念的，在未來的評鑑仍宜適度強調外語能力的加強措施和具體成效，而其具體評鑑的指標或可包括：1.學生外語證照人數及比率；2.改善學生外語能力狀況之措施；3.師生參與國際學術與技術交流的成效；4.其他足以協助學生改善外語能力的具體措施和成效等。

以改善辦學品質而非行政管理
作為終極目標

在邁入二十一世紀的今日，教育的發展已由國家計畫型的導向走入消費者需求導向的型態；學校教育發展的特色和目標，須符合社會民眾的需求，方能得以生存。因此，社會大眾對於各技專校院的辦學情形必然會有知的需求，而各技專校院對於自身的辦學品質和發展方向，亦必然會有自我檢視以求品質提升的需求。

儘管我國技專校院評鑑未來仍應會是採用多元性的評鑑途徑綜合使用（包括評鑑委員的專家評鑑取向、強調各校辦學特色的目標導向、強調社會需求和學生意見的消費者導向、併用CIPP模式），但評鑑的效益主要仍仰賴彼此對於評鑑的態度和哲學－評鑑應是旨在改善技專校院辦學品質，而不僅限於行政管理。

這些評鑑哲學的具體落實，除有賴專責評鑑發展機構進行評鑑制度和指標內容等之持續改善及規劃外，更重要的是能夠有系統的建立評鑑委員遴選、建立委員間之共識，及力求評鑑理念的適切和具體落實。

本文PDF檔案下載

2007.09 / 第9期: 劉三錡讓育達商技麻雀變鳳凰

財團法人高等教育評鑑中心基金會 — Mon, 03 Sep 2007 06:00:00 GMT

「評鑑這一關過不了，將來面臨的危機會很大！」

山巒秀麗的緩坡上，綠草如茵的另一端，從磚紅色大樓頂垂掛下來的「評鑑第一、追求卓越」紅布條迎風招展，穿梭校園的來訪賓客絡繹不絕。但很難令人想像的是，這所苗栗鄉間、吸引眾人前來「取經」的模範學校，幾個月前還乏人問津、毫不起眼，如今卻隨著技術學院評鑑結果的公布，一夕翻身，飛上枝頭成鳳凰。

育達商業技術學院校長劉三錡，接掌校務僅兩年，就交出了一張漂亮的成績單，讓育達在此次95年度技術學院評鑑中脫胎換骨，從四年前被評為「最後一名」，火速衝到今日的TOP 1。戲劇化的轉變令教育界大嘆不可思議，亟欲挖掘劉三錡的「法寶」何在，能夠讓一所百病叢生的技職學院起死回生。

生死戰激發危機感
力求評鑑高標準

「我先打心理戰，激發同仁的危機意識！」擔任過教育部會計長，從行政院主計長任內退休的劉三錡，深知國內高教市場到民國105年將面臨第一波生死交關的招生銳減衝擊，111年又會接續第二波海嘯的來襲，快則七、八年後就會有大學校院因招不到學生而倒閉，「到時我還有月退俸可以安穩度日，但校內多數正值青壯年的教師呢？中年失業該何處去？」

於是劉三錡一上任，就緊鑼密鼓召開三天兩夜的策略研討會，並擬定「95專案」，親自與全校400名教職人員分批吃飯，每次都不厭其煩的重複「育達不改大，七、八年後一定關門」的警訊，「唯有這關過去了才是坦途！」24場飯吃下來，全校終於凝聚了鋼鐵般的共識，一致朝「鎖定改大、通過評鑑」的方向執行。

但光有共識仍然不夠，得有方法。劉三錡說，育達「95專案」的目標很簡單，就是民國95年「全校所有系所都評鑑一等」。當時同仁反映這簡直是天方夜譚，並私下打趣到時一定會有「99專案」，就是95年闖關失敗後，再自動延長目標到99年；而且相對於全部系所獲評一等的高標準，大夥戲言要組成「保二總隊」，「只求達到二等就好」，以跟校長的「保一總隊」相抗衡。

引進「企業診斷」技術
教職員努力更關鍵

對此，劉三錡也坦承：「我來自行政界，對辦學很陌生，不能只依靠個人力量提升學校學術，必須借助外力。」凡事講求「策略」的劉三錡開始尋求突破，決定引進企業界常用的企業診斷技術，砸下重金與中國生產力中心合作，聘請8名學者專家組成輔導團隊，針對學校、系所特性，徹頭徹尾展開國內史無前例的學校專案診斷。

經過一年的檢視及訪談，加上兩次模擬評鑑，中國生產力中心提出多達980項意見，從制度、法規、組織，到課程、師資、圖儀設備……每一樣都建議學校改進。結果學校達成率將近95％，成效令人咋舌，就連此次技術學院評鑑兩天的實地訪評，評鑑委員對於育達能在短短二、三年內徹底改造體質，也直呼開了眼界。

「許多學校都以為中國生產力中心有什麼竅門，可以讓學校扭轉乾坤，但我認為最重要的是學校與教職員自己的努力。」劉三錡指出，外部機構只是負責管制考核，能否落實執行才是關鍵。「我把評鑑當成提升校務經營的手段，而不是為了應付過關，做表面功夫，所以一切的缺失都要務實改進，所有的工作都以追求盡善盡美為原則。」

以評鑑資料的製作來說，每個系所幾乎都修訂了三、四版才完成，「等於評鑑委員還沒來，我們就先自評了三、四次」；而且全校97.98％的教職員都投入參與，不像有些學校只是系主任的工作，教職員為了讓評鑑報告更完美而拼命加班，甚至在學校打地鋪過夜，早已司空見慣。

全面翻修目標課程
合理務實經營系所

除此之外，育達這兩年大力推動教學改革，各系所目標全面大修，從教育的目標、培植的專業能力、課程的安排，一直到教學成果、畢業生就業升學輔導追蹤機制等都全盤翻新，各系主任還要在全校主管會議上簡報改革情況，連續接受四次其他系所主管嚴厲的「質詢」，像是「這樣的課程安排與目標相符嗎？」、「這個教育目標合不合邏輯？」、「師資專長符不符合所開課程？」等，透過「交叉詰問」的集體檢驗，督促各系不斷修正教學，以符合評鑑要求。

劉三錡直言，評鑑成績不好的系所經常喜歡在報章媒體上叫屈，但不是硬體好就可以拿一等，而是要有「邏輯」去經營一個系，知道自己要訓練什麼樣的人才。

例如育達的財經法律系，如果設定辦學目標為培養律師，則無異是好高騖遠，因為完全沒有考慮到學生的條件，不如修正為「培養各大企業法務人才」來得實際，那麼所開課程就要與培養律師的一般法律系課程有所不同，改朝公司法、消費者保護法、公平交易法等與企業界有關的法律實務課程調整，師資也應重新規劃。

劉三錡再以自己曾經當過系主任的育達會計系為例，過去該系被校內批評為「可有可無」的系，此次卻拿到評鑑一等，而且分數比其他學校會計系高出許多，正是與該系放棄「培養會計師」的大帽子，重新調整目標、定位及課程有關。

評鑑當成自己事
教職員心甘情願付出

為了徹底改造體質，劉三錡並同時推動行政組織重整，不僅成立國內大學少見的「稽核室」，負責各項計畫的稽核與效果評估，還整併圖書館與電算中心，強化行政作業法制流程。至於給予各系經費協助、師資聘請也不在話下，只要是合理的範圍，學校都盡量幫忙，而且對各系一視同仁的照顧，不會有所偏袒。

然而，這些在劉三錡看來都不是關鍵。凡事務實、不做表面功夫的他，除了感謝創辦人對育達無私無我的奉獻，為學校打下堅實的建設基礎，以及董事會的健全運作，更將評鑑成績突出的原因歸功於全體教職員高度的認同及努力；而驅策大夥向前的共識只有一個，就是「育達要更好，大家才能在高教市場繼續存活下去」！

「有評鑑委員告訴我，別的學校接受實地訪評時，老師都緊繃著臉，只有育達的老師個個看起來信心十足。」校園氣氛良好，沒有派系、芥蒂，大家都不計較付出，將學校的事當成自己的事去努力，是劉三錡認為育達最令人驕傲的地方。

而在育達評鑑成績快速躍進的背後，外界難免好奇校方是否祭出什麼「誘人」的獎勵機制，才讓教職員這麼「賣命」？劉三錡猛搖頭，直接了當的說，他不贊成「胡蘿蔔」與「棒子」的遊戲，因為以獎金來利誘教職員，大家做出來的行為就非己所願，不是心甘情願的付出。所以學校既無獎也無懲，只一再提醒大家「這是你自己的事」，整個團隊氣氛就帶起來了。

掌握三要訣衝上第一非夢事

辦公室的牆上輝映著「不計白髮利蒼生」七個大字，就這麼短短兩年，劉三錡將育達的評鑑成績從「吊車尾」火速衝上第一。現在校內沒有人敢再諷「95專案」為神話，因為「全壘打」的目標幾乎已完全實現，全校僅有一個系未登上一等。而這也是國內技術學院評鑑有史以來，所締造的最佳紀錄。

「凝聚共識」、「嚴謹考核」、「務實改進」，是劉三錡給予所有受評學校最衷心的建議。他堅定的說，只要能夠確實做到這三點，後段班變前段班絕非mission impossible！

本文PDF檔案下載