財團法人高等教育評鑑中心基金會  

 

第二週期系所評鑑報告I系列期刊分析
文/蔡小婷
  輔仁大學管理學院組員
  國立臺灣師範大學教育研究所碩士

「大學評鑑」與「SCI/SSCI/A&HCI/TSSCI期刊(以下簡稱I系列期刊)論文評比」,兩者糾纏不清已久,造成許多學者對於高等教育評鑑中心實施的系所評鑑與校務評鑑有著深刻的誤解。本文擬釐清此兩大概念,並分析第二週期系所評鑑的評鑑報告,探討I系列期刊在系所評鑑中扮演的角色為何。

評鑑所指何物?歷史的混淆、概念的釐清

我國大學評鑑開始於1975年,迄今已近40個年頭。吳清山(2011)將大學評鑑劃分為四個階段:

●我國大學評鑑制度的演進

1.萌芽期:1975年至1978年,教育部先評鑑數學、物理、化學、醫學及牙醫等五個學門之系所,之後擴大辦理至各領域學院及師範學院。

2.局部展開期:1983年教育部成立「大學教育評鑑規劃小組」;1988年至1991年間分別辦理各大學校院及師範學院評鑑(校務評鑑);1992年至1994年委託專業學術團體試辦電機、管理與機械等三學門之評鑑(學門評鑑)。這段期間評鑑受到重視,逐漸被大學所接受。

3.活絡期:1994年大學法修正,大學評鑑之辦理始具有法律依據。1997~1998年試辦以校務為主之大學綜合評鑑;2001年委託專業機構陸續辦理教育學程、通識教育、醫學系、管理學門、化學學門的評鑑。

4.全面推動期(2004年以後):教育部於2004年7月啟動臺灣有史以來最大規模的大學校務評鑑計畫,委由「社團法人台灣評鑑協會」(台評會)辦理,各項評鑑指標共計165項。2005年5月「財團法人高等教育評鑑中心基金會」成立,始辦理2006年的系所評鑑、2011年的校務評鑑。

經歷近40年的發展,大學評鑑涵蓋的內容十分廣泛,包含了學門評鑑、學院評鑑、各類學程評鑑、通識教育評鑑、系所評鑑,以及校務評鑑。而評鑑標準也有所演進,早期量化指標為評鑑資料的一環,高等教育評鑑中心則完全不採用量化指標,而是評鑑項目。評鑑結果也從具有比較色彩的等第制轉變為認可制。

●論文排名、量化指標與大學評鑑

在大學評鑑發展之際,教育部於2003年10月公布了「2002年大學、技職校院SCI、SSCI與EI論文總篇數發表統計」,將大學以論文篇數進行排名。由於統計結果大出各界意料,立刻掀起軒然大波,在媒體大幅報導下,除了少數大學獲益,多數大學受創甚鉅(黃政傑,2003)。

此統計資料,是將論文篇數進行比較後排列大學表現而得的名次,與其說是「評鑑」,不如說是單一構面的「排名」。然而,當時的學者、社會大眾、媒體,均誤將此「排名」視為「大學評鑑」。從相關的報導均以「評鑑」為題可見一斑,例如「公布整體評鑑鞭策辦學」(韓國棟,2003)、「政大名次暴跌指評鑑基礎不公平」(賴至巧,2003)、「從大學評鑑談臺灣的大學發展」(中時社論,2003)。自此,「大學評鑑=論文排名」的錯誤印象開始深植人心。

此評比大大衝擊了學術界,也顯示教育部、國科會等政府機構對於論文產量的重視程度。而2006年教育部開始推動的「發展國際一流大學及頂尖研究中心計畫」(於2011年更名為「邁向頂尖大學計畫」,即人們所熟知的「五年五百億計畫」,以下簡稱「邁頂計畫」),更是以量化的績效指標為目標,追求國際大學排名的躍進。申請邁頂計畫的大學,深知I系列期刊的發表數量、被引用次數、期刊的影響係數等量化資訊,是衡量他們研究質量與績效的重要工具。其他如國科會、教育部與研究有關的補助與獎勵,也和學校/系所/教師在I系列期刊的發表成果多少有所關連。

在此趨勢下,敏感的高等教育學術界,為更有利地爭取學術地位與政府經費,不得不有所因應。學校許多學術獎補助、教師評鑑/升等辦法中,都存在著對於I系列期刊發表成果的要求。這些發展,與高教評鑑中心於2006年開始實施系所評鑑的時間相近,也因此在這股錯誤印象的洪流之中,出現了兩大誤解:

●大學評鑑的兩大誤解

1.高教評鑑中心在2006年實施系所評鑑之初,便屢被抨擊,被指「以客觀、無法呈現系所特色的量化指標評鑑系所,造成大學發展齊一化」,更有人擔憂「系所在I系列期刊上的發表成果不佳,便會被評為不通過」。

事實上,評鑑項目的設計不採用量化指標,而是由系所進行自我評鑑時,自我定位、設定教育目標(項目一),說明系所於其他評鑑項目上的發展,並提出佐證。同理,評鑑項目對於系所在I系列期刊上的發表完全沒有規範,也從未設定「I系列期刊若達到幾篇,便會通過系所評鑑」之標準。期刊不是重點,重點在於系所是否能按照自身定位與目標發展,提供學生一個優質的學習環境,並建立評估學生學習成效的機制。

2.也有許多學者批判,教育部與國科會以I系列期刊為尊,尤其「邁頂計畫」使得大學汲汲營營追求論文產出,造成大學內教師「重研究、輕教學;重理工、輕人文」的扭曲現象,並進一步要求改善邁頂計畫、教師評鑑等「大學評鑑」制度。

然而,邁頂計畫或是其他政府機構為促進研究的獎補助政策,乃屬高度競爭、績效導向的性質,與強調品質保證的大學評鑑(系所評鑑/校務評鑑)分屬兩大體制;各校自訂的教師評鑑/升等相關辦法,則無其他單位插足的餘地。

那麼,究竟I系列期刊在大學評鑑中扮演了何種角色?以下筆者就最近進行的第二週期系所評鑑中,針對民國101年度上半年完成的系所評鑑報告進行分析。

I系列期刊在系所評鑑的角色

截至目前為止,國內大學校院已有9校515個班制完成第二週期系所評鑑並公布結果。其中467個班制通過認可、46個「有條件通過」(8.9%)、2個班制(0.4%)「未通過」。

評鑑結果是以班制為單位公布,但系所的所有班制會同時接受評鑑,故一份評鑑報告會包含全部班制。扣除重複者,共計有206份評鑑報告。在此206份報告中,50份報告提到SCI、SSCI、A&HCI、TSSCI等I系列的期刊(占所有報告24.27%)。此50份報告包含138個班制,其中有126個通過認可,12個被評為「有條件通過」(占46個「有條件通過」班制的26.09%)。詳細數據請詳表一。

表一 101年度上半年系所評鑑結果分布統計表

此50份評鑑報告中提到I系列期刊最多者為國立臺灣師範大學,共有18份(36%),其次為國立彰化師範大學10份(20%)、臺北市立教育大學7份(14%),餘者為2~4份。詳細分布如表二所示。

表二 101年度上半系所評鑑受評系所學程—— 評鑑報告提及I系列期刊之系所學程一覽表

I系列期刊的真正定位:僅為佐證資料的一部分

進一步檢視提及I系列期刊的50份評鑑報告,便可發現評鑑委員針對「項目四︰學術與專業表現」進行摘要式描述時,可能會提到I系列期刊。其內容主要可歸納為四大類:1.中性描述受評系所近三年來的研究成果;2.描述受評系所對於教師、博士生發表I系列期刊的相關規定與獎勵方法;3.評鑑委員對於該系所的I系列期刊發表狀況提出評價;4.其他。表三列舉四例說明。

表三 101年度上半系所評鑑報告中提及I系列期刊之描述類型與示例

評鑑委員會提及I系列期刊,乃是其來有自。第二週期系所評鑑的「項目四:學術與專業表現」與期刊發表最為相關。參考效標「4-1教師研究表現之情形為何」是由各系所說明佐證。因此系所自評報告的資料呈現,重點各有所不同。筆者另外檢視了此50個系所的自評報告,除16個系所網頁資訊不足(如只有報告摘要、或僅有第一週期的自評報告、或有連結卻沒資料)無法判斷外,其餘的34份系所自評報告中,均將I系列期刊作為呈現「項目四:學術與專業表現」的佐證之一。

系所自評報告提及I系列期刊者,評鑑委員或許會在評鑑報告與其他成果一併說明,但也可能不會;例如:通過評鑑的國立新竹教育大學數位學習科技研究所、數理教育研究所,在其自評報告中,均說明了教師在I系列期刊的發表成果,但未在評鑑報告中被提及。自評報告未提及I系列期刊者,評鑑委員多不會特地提出。因此,自評報告提出I系列期刊發表成果的系所,評鑑委員會有所留意,或許會在評鑑報告中提出摘要式的說明。

I系列期刊並非決定評鑑結果的唯一因素

高等教育利害關係人最關心的是,I系列期刊的表現是否會影響系所評鑑通過與否的結果;換言之,表現不佳者,是否會被評為「有條件通過」或「未通過」,表現佳者是否就能通過?

根據統計分析,評鑑報告中提到I系列期刊的138個班制中,有12個班制被認為在I系列期刊的表現「尚待改進」,占所有138個受評班制的8.70%,但之中僅有1個班制被評為「有條件通過」,為0.72%,其餘11個班制皆為通過。反之,評鑑委員對I系列期刊表現給予中性描述或肯定評價的班制共有126個,但其中卻有8.73%、共11個班制被評為「有條件通過」,占138個班制的7.97%(詳見表四)。

表四 138個受評班制評鑑報告提及I系列期刊之評價類型

由此可推知,I系列期刊的成果豐盛與否,與系所評鑑的結果並無必然關係。發表能量高的系所,其班制未必能夠通過系所評鑑;發表能力被視為有改進空間的系所,其班制也可能通過評鑑。

筆者進一步檢視提及I系列期刊、被評為「有條件通過」的12個班制之評鑑報告,並摘要於表五。各班制所屬系所的發表能量多頗為傑出。值得一提的是編號3的班制。由於其於「項目一:目標、核心能力與課程設計」中,以國外同領域的優秀系所為標竿進行自我定位,因此,其在研究方面的表現便會是評鑑委員留意的重點,而評鑑委員認為其在高影響係數I系列期刊的發表狀況與相關規定,都還有可再努力的空間,故此份評鑑報告中,較為要求該系所於此方面的表現。

表五 12個「有條件通過」班制評鑑報告摘錄(提及I系列期刊者)

事實上,影響評鑑結果的因素是多重的。若大學評鑑僅以論文評比,又何必設計其他評鑑項目?對於系所來說,評鑑最重要的,是優質的學習環境、學習品質保證機制,以及課程設計、教師資格、學術發展等應與其定位及教育目標密切配合。

從混亂的概念迷失的焦點中重新聚焦

系所評鑑的「項目四:學術與專業表現」設計之目的,絕非進行系所間的論文篇數評比,而是在於了解大學教師是否具有足夠的專業素養與研究能量,來支持大學部、碩士班、博士班等高等教育層級的教學工作。第一週期系所評鑑初實施時,仍偶有系所不平評鑑委員只重視I系列期刊的表現,可見「大學評鑑即論文評比」的印象,是如何的深植人心──即使是評鑑委員本身,不免也存在著這樣的迷思。高教評鑑中心近幾年來,致力於提升評鑑委員的專業素質,期能在大學評鑑的過程中,對受評的系所與學校做出最適切的決定。在評鑑項目的設計上,也給予受評單位高度的彈性。

本文嘗試釐清大學評鑑、I系列期刊論文評比/量化指標等長期被混淆的概念印象,並以相關資料進行簡易分析。但筆者能力與分析的範圍有限,仍有力有未逮而無法盡善盡美之處。期望未來關心高等教育發展的人士,撥冗參閱評鑑委員撰寫的評鑑報告及各系所的自評報告,必可對「大學評鑑」與高等教育品質保證有更清晰深入的了解,不再停留於錯誤的歷史中。

◎參考書目

中時社論(2003)。從大學評鑑談臺灣的大學發展。取自http://www.nta.org.tw/w133/talk3/main.asp?GK=0&IPage=16&Num=486

吳清山(2011)。我國大學評鑑的回顧與展望。我國百年教育回顧與展望(33-52頁)。臺北市:國家教育研究院。

高等教育評鑑中心(2012)。評鑑報告。取自http://er.heeact.edu.tw/EvaluationYearList.aspx?key=34

黃政傑(2003)。大學評鑑的爭論話題。師友,438。取自http://web.nutn.edu.tw/gac110/presidentsay/20031115.doc

賴至巧(2003)。政大名次暴跌指評鑑基礎不公平。取自http://www.nta.org.tw/w133/talk3/main.asp?GK=0&IPage=16&Num=486

韓國棟(2003)。公布整體評鑑鞭策辦學。取自http://www.nta.org.tw/w133/talk3/main.asp?GK=0&IPage=16&Num=486

 列印 |  轉寄好友 |  Top |  回首頁

本期目錄
-本期目錄
單元相關文章