園丁手札

2008.11 / 第16期: 冰淇淋要從冬天開始賣－談評鑑制度的建立與推廣

財團法人高等教育評鑑中心基金會 — Sat, 01 Nov 2008 08:00:00 GMT

經營之神王永慶溘然辭世，舉國皆感震驚與不捨。他對臺灣的貢獻難以盡述，其經營理念之獨到更令人印象深刻。記得大學時，我為一份刊物前去採訪他，在近一小時的專訪裡，王永慶侃侃而談自己的經營理念，其中一句話讓我銘記在心且終生受用無窮，那就是「冰淇淋要從冬天開始賣」。

王永慶的「冰淇淋哲學」如今已經變成經營管理的顯學，我的解讀是，一個新觀念或新產品的推出，剛開始可能會引起不同的看法，但只要準備規劃得宜，就應排除萬難領先市場及早推出，並勇於接受他人的意見及挑戰，同時邊做邊修正，等到時機成熟，外界就能接受，此產品便可一舉攻占市場，超越同業居於領先地位。

首度推出認可制評鑑
教學為主不做校際比較

其實，「冰淇淋哲學」對系所評鑑工作的推動一樣可以適用。三年前高等教育評鑑中心成立之初，教育部原本定位此機構為研究單位，負責大學評鑑的研究、指標規劃及蒐集國外制度等研發工作，但第一次董事會開會時，董事們認為僅做研發緩不濟急，無法滿足社會的需要，應立即投入實際評鑑作業。此一翻盤來得突然，身為董事長，個人毫不猶豫立刻著手全力規劃相關業務，並在與教育部討論、審慎分析之後，決定採取不排名的「認可制」來推動系所評鑑計畫。

儘管認可制在美國已實施多年，但在當時的臺灣仍是一個幾近陌生的概念，許多人不瞭解認可制的精神，是由受評系所自訂標準，再由評鑑委員檢視系所標準訂得是否恰當、有無依照自訂標準投入適當的資源與人力來辦學、未達標準時有無自我改進的機制與措施，是自己與自己相比的過程，卻反而誤以為此次系所評鑑仍然採用與他系比較的傳統式評鑑作法。

我們也發現部分學校首長除了不瞭解新制，還未能掌握系所評鑑是以教學評鑑為主軸，以致學校同仁在準備工作上出現偏差，花費太多時間在研究績效的蒐集，而忽略了呈現教學策略、措施與成效；甚至有人誤會評鑑中心是拿公立學校的標準評鑑私立學校，卻不知此次評鑑的最大突破，正是打破「不同學校標準一致」的不公平問題，不做校際比較。臺灣此種作法已經走在亞洲前端，是十分進步的觀念。

萬全準備動態修正
公布學校申覆意見領先創新

而在評鑑委員方面，不可諱言也有少數委員無法完全掌握認可制的精神，因而引起學校的疑慮。但儘管認可制評鑑在大學與委員的認知上仍有些微落差，我們深信這是一個值得採納的好制度，因此在萬全的規劃及準備下，評鑑中心還是決定依進度上路，再視外界反映做動態修正。

其中，為消弭外界對認可制的誤解，我們創辦了《評鑑》雙月刊，向各大學傳播認可制評鑑的理念。另為尊重學校辦學，我們也將學校提出的申覆意見與評鑑委員意見一併公布，以使受評者與評鑑者之間取得平衡，不讓一方獨大。評鑑委員參考名單並於實地訪評前先提供給受評系所表示意見，以建立評鑑委員迴避制度，亦是領先國外的先進作法。

此外，評鑑中心並建立後設評鑑機制，委託評鑑中心監察人組成後設評鑑小組，於每年系所評鑑結束之後，負責檢討整個評鑑過程，是否有需要改進之處。未來還將建立「資深委員」制度，由資深委員帶領其他委員參與評鑑，確保評鑑品質。如此動態修正的過程，才算是真正的「研發」。

下一階段評鑑新境界：
認可走向品保
建立大學自我改進機制

展望未來，評鑑中心正在研擬，於五年一輪的「認可制評鑑」完成後，進階到「品質保證制」的階段。也就是說，將目前五年才由外界（評鑑中心）認可一次的大學系所評鑑，改為透過學校平常不斷的自評，形成「動態性」的評鑑制度，學校可以運用維基（wiki）互動網路或web2.0的概念，建立起隨時調整與修正的自我改進品保機制。

到了此一階段，評鑑委員只需檢視系所是否已建立並落實動態的自我改進機制，如果已經建立並運作良好，就給予該系所認可，不需再像現在一般，逐一檢視系所辦學的每一個環節。如果大學評鑑能從「認可制」走向「品質保證」，也將是評鑑制度的理想演化。

為維護教師、學校、學生的權益，評鑑中心辦理系所評鑑，必定是以嚴謹的態度，在詳實的規劃與萬全的準備下實施，過程中對於外界的建議及指正，也會虛心接受，唯有精益求精，才能建立符合國情並與國際接軌的高教評鑑制度，提升臺灣的高教品質。

本文PDF檔案下載

2008.09 / 第15期: Less more的評鑑理念

財團法人高等教育評鑑中心基金會 — Mon, 01 Sep 2008 08:00:00 GMT

教育部近來因為7分上大學的爭議，迅速宣布許多補救措施，其中一項即要求評鑑中心研究，把學生評量、學習成效、畢業門檻及基本素質表現等面向，納入大學系所教學評鑑指標，再輔以畢業生流向平台追蹤辦學成效，希望藉由完善的評鑑制度，加強大學對於學生學習成效的評量。

四大重點看學生學習

事實上，目前評鑑中心所辦理的大學系所評鑑，是以「教學」評鑑為主軸，評鑑的重點就是放在教師教學與學生學習。評鑑作業雖然是根據五個評鑑項目來進行，但整體言之，教學品質要提升，評鑑委員應該看的不外乎以下四個重點：「教什麼」、「如何教」、「學習成效如何」與「未達到教學目標時如何改善」。

首先，系所應該確立「我要教給學生什麼？」也就是應該先訂出學生四年內必須達到的學習目標，以及該培養什麼樣的能力。

一、訂定學習目標與能力

以國外為例，美國哈佛大學前校長柏克（Derek Bok）在新書《大學教了沒？》（Our Underachieving Colleges）中，明確指出大學生最應具備的八項能力，分別為表達能力、思辨能力、道德推理能力、積極參與公民社會的能力、迎接多元化生活的能力、迎接全球化社會的能力、拓展廣泛興趣的能力與就業能力。這是柏克心目中理想大學生應該具備的能力，而國內每個大學與系所，也可以自行訂出學生應該培育的能力，做為教學指引。

二、改進教學方法

學習目標與能力確立之後，接下來就是教學策略：如何教。這一點，站在第一線的教師絕對是關鍵人物。近年國內大學在硬體設備的擴充上，都有長足的改善與進步，但在教學方法上則仍不夠重視。大學教師應該搭配學校提供的教學空間與圖儀設備，有效運用軟硬體資源來改善教學，並積極從事有前瞻性的教學方法的改革，力求提升學生的學習興趣與成效。

三、定期檢核學習成效

再來為驗收成果的階段，也就是檢驗學生的學習成效，有沒有達到系所或課程所設立的學習目標與能力。現在各大學都有實施教學評量問卷調查，但問題絕大部分圍繞在老師有無準備教學大綱、有沒有提供office hour、講課是否認真等教學的「輸入」面，鮮少關注學習成果的「輸出」面，以致於教學評量的參考性，並不足以反映出學習成效。學校應該將教學評量問卷內容加以修正，納入例如「這門課你學到了多少？」、「幫助你提升了問題分析能力嗎？」、「會推薦給學弟妹嗎？」等問題，就會看到學生將傳遞很不一樣的訊息。

再就學生的學習成效而言，學習最重要的不在知識，而在能力，應該教導學生透過知識的學習來培養能力，否則多學易忘；但現在教師評量學生的等第或分數，能不能確實衡量出學生的能力？考試是否又真能評測出學生對這門知識的理解程度？這些都值得系所教師來討論。因此，系所應該發展更好的評量方法，來分析學生的學習成效，並對學習效果不佳的學生提供適時輔導。

四、檢視自我評鑑機制

最後，是檢視系所的自我評鑑。系所採取什麼程序來檢討教學活動？當學習目標與能力未能達成時，如何改善？是否持續進行教學創新與教學方法改進？是否在教師升等時，將教學成效與證據資料亦送外審？這些都是系所平日該做的功課，也是評鑑委員訪評時可以觀察的重點。

扎根教學軟體學生品質提升

綜合言之，以教學為主軸的系所評鑑，所要檢驗的就是以上這四個重點。尤其當圖儀設備、空間、師資越來越不成為教學問題時，評鑑委員更應該重視教學的「軟體」，包括教學目標、教學內容、教學方法、評量方式與教學效果，了解學校與教師有沒有在教學改進上費心。

系所只要能夠從現有的五大評鑑項目中，確實做好「教什麼」、「如何教」、「學習成效如何」、「未達到學習目標時如何改善」這四個重點，學生的素質就能得到提升，畢業生的表現就不會差。因此，時值低分上大學的敏感時刻，現今最迫切需要的不在於加入更多的評鑑指標，而是如何把正在執行的評鑑工作，更紮紮實實的做好。

評鑑less more 更勝more less

過去我們經常犯下的錯誤，就是做得很多，但卻很少做好；現在我們應該回頭反思，是否應該「做得少」但「做得好」？系所評鑑應該選擇把少數幾樣基本的重點工作深入做好？還是設計出一大堆浮面的評鑑指標，但每樣都蜻蜓點水、做得不好？寧可less more，不要more less，似乎是比較正確的選擇。

本文PDF檔案下載

2008.07 / 第14期: 管制干預或市場機制？從認可評鑑談大學招生政策

財團法人高等教育評鑑中心基金會 — Tue, 01 Jul 2008 03:00:00 GMT

又到了大考的季節。今年的大考比往年多了些不尋常的氣氛，因為出現自詡為「新教改運動」的「假考部隊」來挑戰。假考部隊的產生肇因於對大學退場機制的不滿，而教育部的大學退場政策又與大學系所評鑑結果的運用息息相關。因此，欲探討假考部隊的問題，應先回歸到「系所評鑑結果該如何處理」這個基本面上。

首年減招五成政策
違背認可制精神

95年2月，全國大學校長會議通過了國內第一個大學系所評鑑計畫，將以五年為循環週期推動全國78所一般大學與軍警校院的認可制系所評鑑。當時教育部曾表示，評鑑結果「未通過」的系所，會給予再評一次的機會，若連續兩年評鑑未通過，才會逕行處分。當時大學並無異議。

未料隔年6月第一次系所評鑑結果出爐，教育部為回應外界的期待與壓力，於10月間進一步宣布將對未通過評鑑的系所採取減招二分之一的懲處，以凸顯嚴格執行大學退場機制的決心。然而此項新政一出，立即引發大學校院的緊張與惶恐，並衍生許多後遺症，其中最受爭議的，即是違反系所評鑑以「認可制」為主的基本精神。

認可制評鑑的主要目的，在協助系所進行自我改進；為了達成這個目標，高等教育評鑑中心所有評鑑委員們，無不以嚴格的標準來評鑑系所，無論評予「待觀察」或「未通過」，目的都是為了給系所再一次機會，希望促使大學儘速改進，提升辦學品質。但教育部若在第一年評鑑結束即立刻處分辦學不佳的系所，將使得認可制的美意盡失，不利於高教品質的提升與進步。

假考部隊重傷學生就學權益

但或許教育部也有其為難之處；減招政策固有操之過急的缺失，然社會上也有另一種聲音，批評政府淘汰辦學不佳系所的速度太慢，甚至成立了假考部隊，號召志同道合之士報考大學，集中選填評鑑未過的系所，錄取後再全部放棄報到，用意在逼迫這些系所因為招不到學生而自動關門，督促大學退場機制加速執行。

假考部隊能夠肯定系所評鑑結果並努力捍衛高教品質，用心值得肯定，但我們應進一步深思：以外力蓄意消滅一個系所，不僅剝奪了考生的選擇權，扼殺了仍想進入大學的考生最後一絲機會，一旦系所斷了，已經就讀的在校生受教權益也將受到難以彌補的巨大傷害。若假考部隊努力運作到最後，重傷倒地的卻是無辜的學生，這樣的結果，難道是大眾所樂見的嗎？

再換個角度思考：即便今年假考部隊真的成功地讓某些系所招不到學生，那也只是暫時的光景，明年該系所招生還是可以捲土重來；設若真要用此方法終結特定系所，假考部隊恐怕得變成常設性的組織，有計畫的年年行動才能達到目的。如此將付出龐大的社會成本，值得嗎？

解除優質大學名額管制才是良策

無論是教育部的管制或者假考部隊的干預，都不能真正做好大學退場機制；欲解決大學退場機制的問題，關鍵不在於「對評鑑未通過的系所施以減招一半」的懲處措施，而應針對那些通過評鑑系所數目比例極高的優質大學，解除招生名額管制，開放這些辦學績優的大學多收學生。

一旦優質大學的入學機會增加，吸納更多學子就讀，再搭配系所評鑑資訊的透明公開，考生會選擇進入評鑑未通過系所的機率自然就會減少，則透過此一市場與競爭機制的良性運作，相信不消多久，品質不良系所必然會因招生不足而自動被淘汰，既不需政府祭出任何減招措施，也不勞有心之士蓄意終結。

而對於系所評鑑通過率高的優質大學而言，既然辦學品質佳，則提供更多受教機會又何妨？政府又何需再進行招生名額管制？
　
退場機制市場化
從評鑑提升高教品質

衷心建議教育部對系所評鑑結果的運用，朝向「對優質大學不限招或增加招生名額」的作法修正，尊重考生根據評鑑結果所做的入學選擇，建立起「以良幣驅逐劣幣」的市場化大學退場機制。

本文PDF檔案下載

2008.05 / 第13期: 如何看待大學排名

財團法人高等教育評鑑中心基金會 — Thu, 01 May 2008 03:00:00 GMT

自有大學排名以來，它就是個不受大學歡迎的事物。只要一提起大學排名，大學就會有許多理由告訴你它的壞處，以及為何他們反對排名。可是相對的，這社會上卻有另一群人非常喜歡大學排名，排名資訊對這些人來說非常方便使用，對大學排名的好惡形成兩極化的對待。這實在是個很奇特的現象，其中的癥結在哪裡，值得我們細細探究。

排名與評鑑互有不同

讓我們先釐清「排名」與「評鑑」的差異。目前無論是採取「認可制」的一般大學系所評鑑，或是「等第制」的科技大學與技術學院評鑑，其結果最後都會有一份文字的描述性報告，說明受評學校系所現況、優缺點與建議，再加上其「通過與否」或「等第為何」。

至於排名，則是先有一套共同指標，根據指標進行調查或蒐集資料後計算出分數，再透過加權平均等運算方式得出總分，最後依總分高低依序排名。

排名資訊雖簡化結果卻一目瞭然

經過上述簡單的說明，就可知道為什麼大學排名歷經二、三十年發展仍流行不墜了。因為以文字敘述來呈現績效結果的評鑑報告，只能讓大眾窺知該校情形，難以比較校際之間的優劣差異，且形式上較為複雜，需花許多時間研讀，不容易消化；排名則以簡單的分數與名次清楚分出學校高下，訊息一目瞭然，讓外界非常容易參考。

尤其進入21世紀之後，高等教育更加強調大學的學術責任與透明化，上至政府專家、下至年輕學生，都需要知道大學的學術表現，作為分配資源或選填志願的參考。因此，大學的學術表現不只專家要能清楚掌握，連一般學生也想看得明白，以致於較為複雜難懂的評鑑報告無法滿足各方人士的需要，而以「數字」代表學術表現與優劣，雖然有資訊過度簡化的問題，卻也正是其價值所在─讓各界可以輕而易舉的判別學校的學術表現與相對位置。

排名效度與信度需要再加強

既然無法去除大學排名，大學不如共同努力解決排名所產生的問題。大學排名主要問題就是效度與信度。所謂效度，是指排名方法是否正確衡量出大學的學術表現？大學從投入到產出是很多元複雜的過程，目前幾乎沒有一套有效的排名方法能把大學各部分的表現完整呈現；例如上海交大的「世界大學學術排名」偏重研究面向，以及《時報高等教育增刊》的「世界大學排名」著重學術聲譽調查，二者都無法反映出教學表現。

而排名的信度，指的是排名方法是否具有一致性？換言之，一個高信度的排名系統，當兩校的學術表現一樣時，排出來的結果應該一樣；或者使用同一個排名工具調查不同對象有關同一所學校的表現時，得出來的結果應該一樣。但以聲望調查為主的排名，在此方面就不容易做到結果的一致性，以致於信度經常被人質疑。

當然，一個排名系統若能使其效度與信度都達到「完美」的境界，外界對於大學的了解就可以正確無誤，排名的存在也不會招致非議；可惜檢視現有的排名系統，在效度與信度上往往都難以做得周延，甚至衍生出一些問題：包括在外國有學校為求上榜，一味針對排名指標做加強，抹煞了大學的多元發展；或者資源配置錯誤，將經費大量投注在指標項目，例如花錢作公關，只為了讓聲譽調查的成績好看。

最糟糕的則是可能誘導學校投機化；例如若以產學合作計畫數當作評比指標，可能會有學校設法多爭取小型計畫以衝高計畫件數；若評比項目為產學合作的總金額，也難保不會有學校將訓練課程與推廣教育經費一併納入產學合作經費計算。為了擠上排行榜，大學的「誠信」開始面臨考驗。

以多元分項分類排名提高效度

該如何解決排名的效度與信度問題？在效度方面，若以「瞎子摸象」的故事作比喻，既然沒有一套排名系統可以完整呈現學校全部的辦學表現，則大學不妨以寬容的態度，容忍分別摸到「象鼻子」、「象耳朵」、「象尾巴」……等各種不同角度的多套排名系統同時存在，再由社會大眾綜合判斷、共同參考以拼湊出全貌。如此即可解決使用單一排名系統會有以偏蓋全、效度不高的問題。

此外，排名機構不宜將不同的評比項目綜合加權為一個排行榜，而應根據個別評比項目（如教學、產學合作、學術論文、畢業生雇主滿意度等）的特性，將評比結果依「大學性質」或「學術領域」分類排名，評比結果更應「擇優」公布，不要從頭排到尾。如此分項評比，且分學校或領域擇優公布，既可提高排名的效度，又能鼓勵大學針對各自的「強項」努力，凸顯學校多元發展的機會，避免資源錯置。

使用客觀資料庫以提高信度

而要解決信度問題，則應儘量使用客觀的數據或資料庫，尤應避免使用主觀的聲譽調查，同時公布評比目標與方法，以使信度提高。

既然大學無法不面對排名，不如讓排名能夠更健康的發展，並促成大學間的良性競爭，才是學校、學生與社會之福。

本文PDF檔案下載

2008.03 / 第12期: 「大學分類」還是「委員分類」？

財團法人高等教育評鑑中心基金會 — Sat, 01 Mar 2008 08:00:00 GMT

近來學界對於大學評鑑議題十分關心，媒體也迭有討論，其中有部分聲音提到系所評鑑應該分類進行，理由是不同類型的大學性質互異，因此評鑑標準也應該不一樣。這項論點看似成理，但其中仍有值得深究之處。

評鑑辦學理念形同分類評鑑

首先，目前的系所評鑑本來就無統一、固定的評鑑指標，雖有規定五大評鑑項目（「目標、特色與自我改善」、「課程設計與教師教學」、「學生學習與學生事務」、「研究與專業表現」、「畢業生表現」）是所有系所都應受評的要項，但並未進一步規範各項目的「標準」何在。

因為系所評鑑並非依據共同的評鑑標準來評鑑，而是根據系所各自的辦學理念，來檢視系所有無實現其辦學理念？一旦偏離了辦學理念，有無自我改進機制與措施？而既然沒有共同的評鑑標準，系所評鑑當然不能進行校際互相比較；且既然是根據各自的辦學理念來評鑑，則從分類的觀點觀之，每一種辦學理念或許都可視為是一種系所的分類，那麼雖然大學目前並未正式分類，實際上卻已經被辦學理念分成N類了。

因此，現在執行的系所評鑑不僅不是外界誤以為的沒有分類與單一評鑑指標，反而是作法太過多元，以致於即使在同一個學門裡，評鑑標準都不見得一致，亦沒有最低標準。但有鑑於過去國內大學辦學缺乏特色，經常被人詬病為「教育部大學」，現在為了促進大學多元化，相信多數人還是寧可同意大學評鑑標準應當多元化，而不是重回一元標準的老路。

然而弔詭的是，既然系所評鑑已經形同分類評鑑，而且還被分成很多類，為何學界陸續還會有分類評鑑的聲音傳出？究其原因，可能在於部分評鑑委員心中仍然存有「相互比較」的傳統觀念，沒有抓住此次系所評鑑的核心精神是以「自我比較」為主軸，致使受評學校有所怨言，建議乾脆分類來比。

為評鑑而分類無法解決問題

不過，個人想請大家思考的是，如果大學必須分類評鑑，那麼應該分成幾類才適當？分類不是分級，儘管行政院高教宏觀規劃委員會曾建議大學分成研究型、教學型、專業型、社區型四類，惟出發點並不是為了評鑑之用，現在若是為了評鑑而分類，則只分成三、四類恐怕是不夠用的。

理由何在？因為長期以來學界對於大學之間的比較方式始終意見分歧：有人主張公私立資源不同，不能一起比較；有人認為大學部學生比例高的學校，不能與研究所學生比例高的大學放在一起比；還有人主張以人文社會領域為主的大學，必須與偏重理工領域的大學分開比較，甚至連醫藥、體育、藝術類大學也要各自分別評比；另有人倡議拿新設大學與歷史悠久的老校一起比較有失公允。

由此可知，光從公私立、學生結構、領域與設立歷史來區分，大學就可以分成許多類，如果還要再細究其他的差異性，則很可能必須分成二、三十類來評鑑，才能做到真正的公平。從美國的例子觀之，最常被使用的卡內基大學分類，也是歷經好幾次的調整與修正，以適應高等教育不斷變化的情況。

可見大學分類本身用意雖好，但若是為了評鑑而分類，則無法解決問題，還會落入同類相比的窠臼，不符合認可制係自我比較、不做校際比較的精神；因此，個人認為系所評鑑的關鍵不在於「學校」是否分類，而在於「評鑑委員」應該分類；評鑑委員的聘請如果可以根據受評學校的屬性，挑選來自同一類型學校的委員，評鑑時或許就比較可以掌握「同理心」，避免用研究型大學或國立大學的標準與刻板印象，來評鑑教學型大學、專業型大學或私立大學。

以評鑑委員分類取代大學分類評鑑

若能做好評鑑委員的分類，遴聘與受評大學屬性相符的委員，新設大學與私立大學就不用再擔心是否會被來自公立研究型大學的委員，以高標準影響評鑑結果；但在挑選評鑑委員時，也須注意來自同類型大學的委員必須公正客觀，不能存有「同行競爭」的不當心態，刻意打擊對方。

根據上述考量，個人建議評鑑委員分類的適切作法，除了遴聘與受評學校同類型的委員擔任，也應遴選來自不同類型學校但能認同、體會其他類型大學辦學艱辛的委員，一起參與評鑑，在評鑑過程中共同消除偏見，圓滿完成實地訪評任務。

至於如何篩選出能夠認同其他類型大學的評鑑委員？在遴聘評鑑委員時，評鑑中心除了請「學門認可初審小組」與「認可審議委員會」嚴格把關外，也歡迎受評學校提出意見反映，並且推薦具有資格的優良教授擔任評鑑委員，在接受評鑑中心課程培訓後給予認證，成為評鑑同類型其他學校的優質評鑑委員。

若學界對於以「評鑑委員分類」取代「大學分類評鑑」的理念能夠達成共識，評鑑中心即可著手推動上述構想，讓系所評鑑邁向新的里程碑。

本文PDF檔案下載

2008.01 / 第11期: 當系所評鑑遇到SCI論文

財團法人高等教育評鑑中心基金會 — Fri, 04 Jan 2008 06:00:00 GMT

自從大學系所評鑑實施以來，學術界即對是否應將SCI論文納入評鑑指標充滿了疑慮，議論之聲不曾間斷。回想國內開始重視SCI論文，可追溯到數年前教育部無意間公布了SCI論文排行榜所引發的後遺症，致使許多大小學校都開始要求教師出版SCI、SSCI論文，而且教師升等也以此為標竿。

究竟何謂SCI、SSCI？它是美國湯姆笙（Thomson Scientific）集團下的ISI公司所出版的兩大引文索引資料庫（另有人文藝術學科的A&HCI），最早是為了進行引文檢索而建置，由於其將符合評選標準的期刊收錄進來，收錄內容具有一定公信力，加上又能提供論文被引次數，並可和期刊影響係數相結合，後來便逐漸被廣泛應用在學術評估上。

論文統計≠全部學術成果

由於ISI資料庫建立得相當完整，因而世界上許多新興國家，就以此資料庫作為統計大學學術論文發表情形的工具，但除了ISI之外，世界上還有很多資料庫，包括荷蘭Elsevier公司出版的Scopus，以及Google Scholar等，也都可進行論文篇數及引文次數的統計。然而，無論使用哪一個資料庫，都無法描述學術研究的全貌，資料庫論文統計充其量只能代表某部分的研究成果。

例如社會科學領域的研究有其本土性，非英語國家的研究不容易刊登在SCI、SSCI期刊上；另外如資訊等領域，一篇發表在學術研討會上的論文，其影響力可能比SCI期刊論文來得更及時與重要；一本影響深遠的本土學術專書，其價值也可能遠勝過一篇短篇的英文論文。而人文藝術領域更必須考量它的創作與展演。

再如ISI資料庫所收錄的非英語期刊比Scopus資料庫少，這也因此造成屬於ISI資料庫的SCI、SSCI論文統計結果較有利於英語系國家的大學，對非英語國家則較吃虧，今年英國泰晤士報高等教育增刊就特別改以Scopus資料庫作為世界大學排名統計，可看出泰晤士報考量更完整學術出版文獻的企圖。

統計結果≠學術目標

由此可知，使用SCI論文統計來「推論」大學教師的學術研究成果是有限制性的，對於理工醫農等領域而言，或許論文評比結果在「某種程度」上仍能推論該校的學術研究成果，但這終究只是個「推論」，只能代表對學術成果的概估。更遑論對以人文社會領域為主的大學而言，用SCI、SSCI論文來推論該校學術成果，可能不具有代表性。

既然如此，為什麼世界上仍有許多機構喜歡用SCI論文篇數去推論一所大學的學術水準？說穿了只是因為它便於統計。甚至為了重質不重量，除了統計論文篇數外，在論文品質的推估上，學術界還採用許多品質指標，譬如被引次數、期刊影響係數，以及最近頗受重視的H指標等。

但無論如何，這些指標只是一種統計，統計有其必要，但也有其限制性。只有了解其限制性，才不會誤用統計結果，學校也不會把統計結果當成學術追求的目標。

SCI論文≠系所評鑑必要條件

在分析了SCI論文的本質之後，我們再回頭探討大學系所評鑑，該不該評SCI、SSCI論文，答案就已經呼之欲出。評鑑中心辦理的系所評鑑是以教學評鑑為主，雖然評鑑項目有一項為「研究與專業表現」，但其評鑑指標係開放系所自訂，評鑑委員只會根據系所自訂的指標進行評鑑。

更詳細地說，系所評鑑實施計畫中所列的「研究與專業表現」項目，其參考效標除了教師的研究論文數之外，還包括參與學術研討會、國際學術交流與合作、產學合作、出版教科書、個案分析、各種創作作品與展演活動，以及根據教師專業所從事的社會服務，例如解決環保問題、參與公共政策制訂等，甚至教師的研究與專業帶給學生什麼收穫、是否因此讓學生與產業界更接近等，都是「研究與專業表現」項目可被評鑑的範圍。

在此原則之下，我們認為，SCI、SSCI論文固然有其重要性，若表現良好可以視為系所評鑑的優點。但對國內大多數非研究型大學而言，SCI、SSCI論文表現結果不理想，並不能當成系所評鑑的缺點，評鑑委員在評鑑非研究型大學時，也不應過度強調SCI、SSCI論文發表的成果。

本文PDF檔案下載

2007.09 / 第9期: 維基式評鑑

財團法人高等教育評鑑中心基金會 — Mon, 03 Sep 2007 06:00:00 GMT

在網路科技以光速傳播知識的今天，一則新聞引起了我的興趣。

集體協作動態參與維基大熱門

舉世知名的維基百科（Wikipedia）上（8）月在臺北召開2007年維基年會（Wikimania），再度掀起「維基經濟學」（Wikinomics）的發燒話題。

這個排名全世界流量前十大的網站，成功創造了「集體協作」（mass collaboration）的知識經濟新模式，至今維基百科已有250種語言的版本，廣泛被全球網民所使用。其正確性與專家所撰寫的「大英百科全書」相當，隨時更新翻修的內容，更達大英百科全書的十倍以上。

身為維基百科的愛用者，我觀察到，網路集體協作的維基世代已經來臨。這種集眾人智慧共同協力創作的知識生產新機制，應該可以套用在很多地方。譬如說，把它應用在大學評鑑，或許正是改革大學評鑑制度的一個新契機。　

畢業生表現如何評難度高

眾所周知，目前各主要先進國家所通行的大學評鑑制度，包括臺灣刻正進行的系所評鑑，都是受評學校先進行自評，再由一群學者專家前往學校實地訪視。

然而事實上，這種被歐美先進國家視為主流的評鑑制度，仍然無法避免兩大盲點：一是評鑑重心雖然以教學為主，但委員卻得花費許多時間在訪視教學的「投入」與「過程」，如學生學習、教師課程設計等，對於「畢業生表現」、「教師研究與專業表現」等「產出」面的內涵涉獵則較少。

尤其評鑑「畢業生表現」的難度更高，一來學校無法輕易蒐集到學生畢業後的實際表現；二來該如何評斷學生的學習效果與畢業生的表現，對評鑑委員來說也並非易事。

第二個盲點，在於如此的評鑑方式終究難脫評鑑委員的觀點，而不是受評系所教學者（教師）與學習者（學生及校友）的觀點。但評鑑的目的既是為了讓系所自我改善，評鑑的觀點自應融入「當事者」的觀點才對。

引進維基技術評鑑不再有盲點

所謂「維基式」的評鑑，正可彌補上述兩大盲點的缺失。透過集體協作的互動式平台，全體老師、學生、校友甚至雇主，都可以參與評鑑，隨時隨地上網，針對系所辦學目標、課程設計、教師教學與評量方式、畢業生滿意度等各方面問題，提出多元觀點與意見，供系所不斷改進。如此一來，系所辦學方向將更容易精準衡量，也更容易凝聚師生共識。

除了這項優點之外，平日建立起師生與學校網路互動的管道，學生離校後的情形，學校將更容易掌握。學校也可透過互動式平台，詢問校友哪些教學內容需要調整，多多提供反饋。而雇主更可隨時進入開放式的網路系統發表意見，作為學校調整辦學方向及教學內容的參考，協助學校培育出更符合業界需要的人才。

師生校友雇主齊參與落實自評

「維基式評鑑」正是由使用者與相關社會人士共同參與的評鑑，未來一旦有了這套動態、參與、互動式的評鑑平台，不但可以解決兩大評鑑盲點的缺失，國內大學的系所評鑑，也不必再由諸如評鑑中心的外部評鑑機構去下指導棋，更不會有學校抱怨評鑑委員不了解教師的用心，因為所有自我評鑑產生歷程，評鑑委員都可以在平台上一一看到。

換言之，「維基式評鑑」一旦啟動，評鑑委員只需從旁觀察學校系所，有無建立起運作完善的維基技術與評鑑機制，去實現其辦學理想；屆時外部評鑑充其量只是評鑑學校整個自評的「過程」與「程序」是否完備，而不是去評鑑系所教學的「實質」內容。如此更能降低評鑑委員的主觀影響，落實大學評鑑應以「自評」為主，外部評鑑只是扮演一個協助學校系所做好自評機制的角色。

那麼，「維基式評鑑」的效果如何？我們可以從全球電腦大廠IBM及世界航太領域最大的波音公司窺出端倪。IBM透過內部建立的WikiCentral平台，讓分散世界各地的研發人員隨時丟出好點子，同步在線上腦力激盪。平台推出後大受員工歡迎，一年內該公司的專利生產件數呈倍數成長。

波音公司建造787客機時，破例開放跨國夥伴企業的工程人員，透過線上合作系統，共同參與前期設計作業，就連客戶也受邀在平台上飆點子、玩創意，打破過去製造飛機只有廠商單方面的設計想法。與顧客雙向溝通的結果，讓787在許多功能上更加滿足客戶的需求，甫一推出就被喻為「夢幻客機」，訂單數量一舉超過同一時間由空中巴士公司所製造的A380。

動態參與平台維基評鑑效益大

集體協作力量之大，讓IBM與波音公司獲致驚人效益。這就是三個臭皮匠，勝過一個諸葛亮。我認為大學評鑑的執行，唯有容許師生、校友與雇主全面參與，大學才能真正培育出符合社會需求的人才，評鑑也才能真正評斷出「受惠者」有無確實受惠。評鑑終極要能達到「動態參與」的境界，才能成為一個理想的評鑑。

時值維基百科在臺北召開年會，個人因而衍生出「維基式評鑑」的構想，其可行性如何，還望各界發揮「集體協作」精神，不吝賜教。

本文PDF檔案下載

2007.07 / 第8期: 系所評鑑的標準在哪裡？

財團法人高等教育評鑑中心基金會 — Fri, 06 Jul 2007 06:00:00 GMT

國內首次大學系所評鑑結果上（6）月公布，就像大學放榜一樣，結果讓幾家歡樂幾家愁；無法獲得通過的系所，都很想知道為什麼沒有得到認可，到底評鑑標準在哪裡？

勇於向標準答案說「不」的諾貝爾大師

這讓我想起報紙上看到的方塊文章。一位物理學教授出了份考題，要學生利用氣壓計來測量大樓的高度。有位學生寫道：「只要把氣壓計綁在繩子的一端，從樓頂往下垂，從繩子的長度就可以得知大樓的高度。」教授很不滿意，直接給他零蛋，要他用物理學的方式去測量。

學生想了一想，說：「從樓頂把氣壓計丟出去，根據自由落體的公式，從掉到地上所需的時間，就可測出大樓的高度。」教授還是皺緊眉頭。學生便改口：「不然就用氣壓計測量樓影的高度，透過三角幾何來推算樓高。」但教授仍然有意見。

這一次，學生的回答更妙了：「那就直接去找大樓管理員，把氣壓計當成禮物送給他，就可以問出大樓的高度了！」聽到這種啼笑皆非的答案，教授忍不住發飆：「你真的不知道利用氣壓計的算法嗎？」講了四種答案都不被接受的學生終於回答：「教授，我當然知道，我只是很厭煩您一再要求我根據標準答案來作答！」

這位勇於向「標準答案」挑戰的學生，就是物理學家Niels Bohr，他於1922年摘下諾貝爾物理學獎。這則發人深省的小故事讓我聯想到，系所評鑑的標準也不應該有所謂的「標準答案」，尤其現在社會鼓勵多元思考、追求創新，系所評鑑也應當採取「多元標準」，如此才能引導大學辦學多元化，滿足社會上各種層次的需求。

評鑑邏輯四部曲

或許有人不解：評鑑標準多元，系所該何所適從？事實上，評鑑標準雖然多元化了，但認可邏輯還是只有一套，就是依循四個步驟：「做什麼」、「如何做」、「結果如何」，及「如何改善」。

做什麼?
首先，系所必須告訴他人自己在「做什麼」、辦學標準在哪裡。過去大學習慣仰賴主管機關提供的標準來辦學，但現在應該倒轉過來，由評鑑機構反問系所「你的標準在哪裡」？各系所必須建立自己的標準，擬定自己的辦學目標與特色，自我檢視有無滿足專業發展的需要，而不該再由評鑑中心或教育部，用一把固定的尺、一套單一的標準來限制學校的發展。

如何做?
第二是「如何做」。假設系所的辦學目標是「培養國家棟樑」，則系所就必須明確指出衡量「國家棟樑」的標準在哪裡？系所的課程設計、師資陣容、教學方式與相關配套措施，是否真的可以培育出系所所認定的「國家棟樑」？達成系所自訂的辦學目標？

結果如何?
再來是「結果如何」。老師教學有無成就感？學生學習有沒有進步？畢業生表現如何？系所有沒有了解辦學成果的機制？這個機制不是評鑑中心來訂，而是系所自己要訂，自己去檢視辦學結果有無符合自訂的標準。

如何改善?
最後就是「如何改善」。若根據自訂的標準檢視後，發現無法達成預期目標，則系所有無自我改進的機制可以調整？在認可制評鑑實施的初期，系所評鑑的重心偏重在input與process，系所能否建立自我改進機制，將比辦學結果的展現更為重要。

清楚目標自我比較

從「做什麼」、「如何做」、「結果如何」到「如何改善」，系所都要自訂標準、自我展現。評鑑中心關心的是系所有無辦學目標與自我定位，有無配套措施？有無自我改進機制？如果有，評鑑時就容易被認可通過；如果沒有，卻強調自己聘的教師數比他系多，發表的論文數比他系高，這是沒有用的，因為這些不一定是系所的標準所在。

多元標準協助學校改善

我們社會經常犯的錯誤，就是明知不該有標準答案，卻又往往不自覺落入「標準」的陷阱裡，只想求取一個速成的、簡單化的答案。但系所評鑑必須避免重蹈相同的錯誤，唯有評鑑標準多元、大學辦學自主，我們的高等學府才能培育出各行各業的「諾貝爾獎」學生。

也期待所有評鑑委員，都能尊重學校的辦學理念，從諮詢的角度提供建設性的意見，協助學校自我改進，儘量避免主觀式的批評，這是評鑑中心對評鑑委員們始終如一的期待。

本文PDF檔案下載

2007.05 / 第7期: 如何展現大學的辦學績效？

財團法人高等教育評鑑中心基金會 — Fri, 11 May 2007 14:00:00 GMT

又到了入學考試的旺季，考生開始為選填志願做準備，大學辦學績效成為很重要的參考依據。評鑑中心正在辦理的系所評鑑，是採不排名的「認可制」，目的在淘汰教學表現欠佳的「後段班」系所。雖然此舉可以建立大學的基本教學水準，但仍無法充分展現學校的辦學績效。　

績效調查擇優公布突顯辦學成果

為呼應社會的期待，評鑑中心在辦理系所評鑑業務之外，進一步推動各種類型與項目的績效調查。今年1月我們已經公布ESI論文統計分析結果，本期我們又公布WOS論文資料庫中，表現在國內前20％的學校名單。這些是屬於研究層面的績效調查，主要在檢視大學的研究能量。

大學是個多元綜合體，任一種或數種績效指標，都不能代表大學的全貌，因此大學績效調查的結果，應該採取「擇優公布」的方式，不宜全部公布，因為不以該指標為發展重點的學校，其所呈現的名次並無實質意義，全部公布出來反倒誤導學校的辦學方向，更讓社會忽略其真正投入的表現。

除了ESI與WOS論文統計，未來評鑑中心還會陸續推出「產學合作調查」、「專利調查」及「畢業生雇主滿意度調查」等績效統計，並廣徵各界意見，研擬更多的績效指標，以多元評量國內大學的辦學績效。

客製個人化大學偏好排行系統

然而，由評鑑中心進行各種績效調查，尚不能全面滿足考生的需求，如果能讓每一位考生，按照自己的需要、從個人的角度檢視大學，或許更為有效。

為協助考生選擇學校，評鑑中心正在開發「個人化」的「大學偏好排行系統」，計畫挑選二、三十個學生關心的辦學指標公布於網路上，讓每一位使用者從中挑出數個（例如7個）符合自己需要的指標，根據重要性自行給予適當權重，系統即可根據各校資料與考生輸入的指標、權重，排序出「最適學校名單」（例如10個），完成「客製化」的大學偏好排行結果。

如此一來，每位考生都可擁有一份適合自己需求、量身訂製的排行榜，在選填志願時更具參考價值。這套兼具多元指標與互動參與的個人化「大學偏好排行系統」，還可彌補前述各種績效調查，每次只調查單一指標的不足。

年度績效報告學校自我監督

不過，個人化排行系統雖較能滿足學生需要，但畢竟難以展現大學質性的一面。根本之道，還是建議大學仿照先進國家，由學校每年出版一本「年度績效報告」，把過去一年的辦學成果、特色、發展重點及未來展望，做出系統性的交代。

大學出版年度績效報告，詳述年度辦學績效，在國外是很普遍的作法，與我們比鄰的香港即在實施。除此之外，學校並可將自評報告、歷年受評的評鑑報告、根據評鑑建議事項所提出的改進計畫、執行進度等資訊，一併上網公布，考生即可藉由查閱績效報告及評鑑報告書，進一步了解學校，並作為選校參考。

三管齊下選擇最愛

大學自我評鑑、自我管理已是不可擋的趨勢，但臺灣目前仍缺乏大學提出年度績效報告的觀念，建議加以推動，初期並可從教學卓越或學術卓越計畫學校開始漸進實施，鼓勵系所與大學自訂績效指標。尤其年度績效報告的提出，可以正確傳達大學辦學情形，避免外界任一機構用少數指標，對大學的多元發展做出以偏概全的評斷。

國內大專校院數量已超過160所，大學既已變成普及教育，並接受政府補助與學生繳納學雜費，其辦學績效如何，納稅義務人及學生都有權利了解。若國內大學能建立一套有效傳達自我辦學績效的機制，再加上評鑑中心辦理績效調查及推出個人化「大學偏好排行系統」，如此三管齊下展現大學的辦學績效，考生選填志願時將更能「擇己所愛，愛己所選」！　

本文PDF檔案下載

2007.03 / 第6期: 系所評鑑會失靈嗎?

財團法人高等教育評鑑中心基金會 — Fri, 09 Mar 2007 06:00:00 GMT

今年1月出刊的遠見雜誌，做了臺灣首份設計校院排行榜調查，私立的實踐大學設計學院以15項評比都是第一的突出佳績，贏得壓倒性冠軍，成為業界眼中臺灣TOP1的設計學院。但該院院長安郁茜受訪時卻語出驚人的表示，在教育部大學評鑑中，實踐設計學院總是最後一名。
　
系所評鑑沒有倒數第一

筆者不清楚過去教育部大學評鑑是否真的把實踐設計學院評為倒數第一，但可以確定，此次大學系所評鑑，絕對不會有系所拿到最後一名，因為評鑑方式是採「認可制」，只有「通過」、「不通過」、「待觀察」三種結果，沒有評比排名。比較需要關心的是，若實踐設計學院的辦學成果真如排行榜呈現的這麼好，那麼有沒有可能在此次系所評鑑中，被評鑑委員評為「待觀察」甚至「不通過」？

此次遠見雜誌所做的排行榜調查，34位國內設計界的受訪菁英，在師資陣容、設計課程、參與設計競賽能力、學生具豐富想像力、畢業生具長期發展潛力、國際視野等項目上，都評實踐設計學院得分最高，而且所得分數遙遙領先排名第二的學校。又根據實踐設計學院的網站，早在2001年至2003年間，該院就得過476個獎，國內外設計展演也多達145項，產學合作計畫共48案、589件。可見該校在設計界受到相當的肯定。

本文欲以實踐設計學院為例，深入探討此次系所評鑑的關鍵性問題：評鑑指標與評鑑委員的觀點。

尺度自訂教學勝於一切

此次評鑑機制與過去最大的不同，在於尊重系所辦學理念，鼓勵系所多元發展，不用同一把尺去衡量所有學校，也不做校際比較，改用系所自訂的辦學目標來衡量自己，是否照自設的辦學理念來辦學？是否達到預定目標？是否偏離目標？如果有所偏離，有沒有自我改善的修正機制？

換言之，如果系所的辦學目標模糊不明確，對於培養什麼樣的學生，師生都不清楚，也無自我改善機制，這種系所就有可能被評為不通過；另外，若有系所的課程設計不符合辦學目標、專兼任老師的專長與教學科目不相符、系所老師對學生的學習沒有投入心力，也有可能不被認可。

但是，如果辦學目標明確、課程設計得當、老師努力教學，尤其畢業生出路好、口碑佳、實力在業界獲得肯定，這樣的系所，即使老師研究成果少、博士學位師資不足、生師比未達合理比例，以筆者的觀點認為，評鑑結果沒有理由不予通過。

更進一步來說，如果SCI、生師比、博士學位師資的統計數據漂亮，但培養出來的學生能力很差，對於這種系所，難道就要給它認可嗎？

評鑑「活」起來系所「做自己」

指標是死的，評鑑則是活的。評鑑結果如何，評鑑委員應該根據各種資訊綜合判斷再決定，而不應被刻板、量化的指標所侷限。如果此次系所評鑑，評鑑委員仍然僵化的依靠指標，而不能靈活的綜合判斷教學成果，我認為這樣將會導致評鑑失靈；如果評鑑中心辦理的系所評鑑最後演變成這番局面，那最後不被認可通過的應該不是系所，而是評鑑中心自己。

在教學為主體的前提下，系所評鑑的項目與指標，應該僅作為評鑑委員的參考，面對不同學科、不同領域與不同時空，評鑑委員都應該有彈性處理的裁量權，不應被僵硬的項目及指標，限制了自己的評斷。另一方面，系所也應該認清自己的目標，勇於「做自己」，不要為了求認可通過，而盲目的隨波逐流。

儘管各系所的評鑑結果，是由評鑑委員的專業意見與「認可審議委員會」做最後決定，包含筆者在內，其他人都無權干預，但基於尊重每個系所的那把尺，能夠認識自己、做好自己、培養出優秀畢業生的系所，都應該在此次評鑑中被肯定。

本文PDF檔案下載