財團法人高等教育評鑑中心基金會  

 

納入規模考量 2008年大學科研論文成效評比改進方案研議
文/黃慕萱
  國立臺灣大學圖書資訊學系教授
  高等教育評鑑中心兼任研究員

財團法人高等教育評鑑中心於2007年間進行數種面向之大學論文表現評比,公布後引起各界注意及討論,許多學者針對評鑑中心提出各項建議,其主要問題在於學校「規模」(size),即學校教師人數多寡造成的評比影響。

不可諱言,規模在一定程度上代表學校實力,規模大的學校較容易產生較多的論文,因此如何尋找一個平衡點,讓論文具有「量少質精」特色之小規模學校突出其表現,實為值得深思的問題。

事實上,評鑑中心在指標的設計上已試圖降低規模的影響但仍不足夠,為減低規模的影響,評鑑中心或可針對「ESI論文統計分析」、「近五年臺灣WOS期刊論文統計分析」及「世界大學科研論文質量評比計畫」進行規模問題改良,以下就三項分析計畫建議未來可行方案。

ESI論文統計分析

2007年1月利用ESI資料庫分析華人四地各校表現時,所運用的指標有四:論文數(及世界排名)、被引次數(及世界排名)、高被引文章數(Highly Cited Papers)及高被引文章數比例,其中僅高被引文章數比例係根據各校論文數進行正規化處理,其他指標仍較易突顯規模較大學校的優勢。

因此,為降低規模的影響,建議2008年度可參考較不受規模影響之平均被引次數(及世界排名)、活躍性指標(Activity Index)、標準化影響係數(CPP/FCSm)、RI(Relative Index)等指標,希冀降低因學校規模造成的優勢,提供更確實的各校學術研究成果分析。

(一)平均被引次數(Citations Per Papers,簡稱CPP)(及世界排名):平均被引次數為該機構(或國家)之論文被引次數除以其論文數,亦即每篇文章平均被引用的次數,主要衡量該機構(或國家)每篇論文被利用程度或影響程度。然此指標單獨使用容易產生偏頗,須與論文數及被引次數配合使用,宜謹慎解釋。

(二)活躍性指標(Activity Index):活躍性指標係指該機構(或國家)在該領域的論文數量與全球該領域整體論文數量之比較,可衡量該研究機構(或國家)於特定領域論文發表之相對活躍程度。計算公式如下:

(三)標準化影響係數(CPP/FCSm)指標:標準化影響係數係指該機構(或國家)在該領域發表論文之平均被引次數(CPP)與全球於該領域發表論文之平均被引次數(mean of Field Citation Score, FCSm)的比值,可了解該研究機構(或國家)某領域論文於世界平均水準之相對影響力。計算公式如下:

(四)RI(Relative Index)指標:RI(Relative Index)與標準化影響係數(CPP/FCSm)兩項指標概念大致相同,都是欲求得研究機構(或國家)論文相對影響力的指標。為求指標簡便易懂,本計畫另採用RI指標,以了解該機構(或國家)某領域論文之平均被引用率與全球之差距。計算公式如下:

近五年臺灣WOS期刊論文統計分析

高等教育評鑑中心於2007年5月公布2002年至2006年五年臺灣各校於Web of Science資料庫中,自然科學類20學門之學術研究成果,採用兩項統計指標,包括論文數及論文被引次數,並提供學門論文數與被引次數前20%學校順序。2007年9月另公布2002年至2006年五年臺灣各校之期刊影響係數(Impact Factor,簡稱IF)表現,分別以「期刊影響係數總積分」及「期刊影響係數平均積分」兩項指標分析該20學門之研究表現概況,擇優公布各學門前十名大學。其中期刊影響係數總積分之計算方法為將各年文章數乘以當年該刊IF值後之累計總值,期刊影響係數平均積分則為期刊影響係數總積分除以總文章數。

由於上述四項指標僅期刊影響係數平均積分考量規模因素,故建議2008年可加入論文平均被引次數(Citations Per Paper)指標以減低規模影響。換言之,2008年再度針對2003年至2007年五年臺灣各校WOS自然科學類20學門進行評比時,建議可考量論文數、論文被引次數、平均被引次數、期刊影響係數總積分及期刊影響係數平均積分等指標,進行個別排名,並依比例擇優公布學校表現。

世界大學科研論文質量評比計畫

世界大學科研論文質量評比計畫自2007年11月公布以來,持續收到各界意見,其中包括學校規模易導致大家印象中表現優良之中小型學校排名較為落後之情況,而規模大小也的確對於論文的「量」有影響,進而可能影響到論文被引次數之累積表現。

因此,今年進行世界大學科研論文質量評比計畫時,建議可將「近十一年論文數」、「當年論文數」、「近十一年論文被引次數」、「近兩年論文被引次數」、「高被引文章數」、「高影響期刊論文數」等易受規模影響之指標,以各校全職教師數進行正規化處理。

全職教師數來源以各校官方網頁所提供之資料為主要依據,另參考美國教育部國家教育統計中心(The National Center for Education Statistics)、澳洲教育就業及勞資關係部(Department of Education, Employment and Workplace Relations)、加拿大大學聯盟(The Association of Universities and Colleges of Canada)、丹麥科技創新部(The Ministry of Science, Technology and Innovation)或其他多國官方網站所提供之教育統計數據,僅採用「全職」教師及「全職」研究人員之人數。

依據規模進行正規化處理後,期能為2008年世界大學科研論文質量評比計畫確實降低規模影響力,提供更為各界接受的世界大學排名。 

持續徵詢意見 進行計畫改進

大學學術表現攸關國家知識與科技競爭力,如何利用客觀量化數據分析各大學之研究能量,藉以了解各校學術研究成效並改善其研究品質,在知識經濟時代顯得更為重要。

高等教育評鑑中心有鑑於此,透過ESI論文統計分析、近五年臺灣WOS期刊論文統計分析及世界大學科研論文質量評比計畫,定期提供統計數據以供長期追蹤分析之用。其中ESI論文統計分析及世界大學科研論文質量評比計畫,可呈現臺灣學校於兩岸四地及世界學術水準之位階,而近五年臺灣WOS期刊論文統計分析則可了解國內大學及各學門領域之學術研究品質。

在高等教育評鑑中心第一次公布論文統計分析結果後,針對上述建議事項,評鑑中心將持續廣泛蒐集學界意見,期使各項評比計畫更臻完善。

 列印 |  |  Top |  回首頁

本期目錄
-本期目錄
單元相關文章