財團法人高等教育評鑑中心基金會  

 

如何衡量與比較不同領域學者的傑出程度?
文/連怡斌
  國立彰化師範大學統計資訊研究所教授兼總務長

在追求論文的數量後,學術界、國科會乃至於各大學也越來越重視論文品質,其中的指標除了論文的影響指數(IF)、引用次數等之外,為了考量不同領域的差異,一篇論文在該領域的排名百分比(percentile)也越來越被重視,並做為跨領域比較的基礎。例如,國科會生物科學發展處於計畫申請時所用的研究表現指數(Research Performance Index, RPI)表,將論文之排名百分比依前20%、20-40%、40-60%、60-80%及80%,先後轉換成乘數5、4、3、2、1。部分大學為獎勵高影響力論文,亦依排名百分比設立獎勵辦法。

評估論文質量指標的新工具

然而這些辦法,對於如何在質與量的轉換之間取得一較客觀的方式,則有待討論。本文嘗試利用一個在初等數學時大家就接觸過的工具:Harmonic mean(調和平均),提出一項綜合考量個人或團體論文之質與量的指標。

調和平均通常用以考量在固定時間或距離下,幾個「率」的平均。例如:上下坡各1公里,速率分別為5km/hr及10km/hr,則較適當的平均應為,而非算數平均7.5。

我們根據研究人員在固定時間(如一年)內發表的論文,其在該領域之排名百分比,定義以下的Outstanding Index(OI,傑出指數)。其中百分比=論文IF排名/該領域論文數。假設某人當年度發表k篇論文,其在某領域之排名百分比為r1~rk%,則傑出指數=

OI指數提供不同領域之學術成就一個比較的基礎,數字越小代表越傑出。相同論文數目下,論文排名百分比越前則指數越小;相同排名百分比下,論文越多則指數亦越低。以國立彰化師範大學的「研究精實獎」為例,其條件為要求三篇某領域排名前15%的論文,則其傑出指數為

而以下的論文發表亦代表相同的傑出指數:(1)四篇排名20%;(2)二篇排名10%;(3)一篇排名5%;(4)三篇分別為15%、10%,及30%之論文。

OI指數的應用與推廣

此傑出指數尚有許多推廣方向,以下列舉數項:

● 作者加權排名

例如:第一及通信作者乘1、第二作者乘2、第三作者乘3、其他作者乘4。以之前所列舉的三篇排名前15%為例,若其中二篇為第一作者,一篇為第二作者,則OI由5變為6:

若再有一篇排名前15%,且本身為第二作者的論文,其OI才能升回至5:

● 多年或多人之平均OI計算

OI可以很容易推廣至計算多年期的成績平均。以五年為例,若m年內k篇論文之排名百分比分別為r1,...,rk,則

若第一年有三篇排名前15%的論文、第二年有二篇前10%的論文,則兩年之平均仍為5。同理,OI亦可計算一個系所中m人的平均,如一人有三篇前15%,但另一人無,則合計之。但在這裡,OI有個須另外加以處理的地方:對某年沒有著作的某人,可定義其當年之OI為無限大。

● Offset(補償量)的處理

有時候對排名高的期刊,會有OI變動太大的疑慮。例如一篇前5%的OI為1,是一篇排名前1%的5倍,若不想讓其差距那麼大,可增加定義廣義的OI如下:

ri仍為第i篇論文之排名百分比,而a>0為一offset(補償量)。以a=5為例,三篇排名15%論文之OI變為

若以此為標準,則兩篇排名10%的論文之,便未達到此標準;或反過來說,這兩篇須排名約8.3%左右,,才能達到6.7的標準。

跨學門評估 OI指數更具參考性

國科會生物處之計畫申請多年來使用的RPI表,包括使用加權等方式,便是在嘗試同時考量論文之質與量。而OI事實上可以和RPI表相互對照,將RPI變為其之特例。但RPI將排名前20%、40%等硬切割為加權5、4等方式,若有學者的期刊IF值該年度剛好落在例如21%時,可能會令當事人委實有不舒服的感覺,因為加權一下由5倍變4倍,差很多。

相對而言,OI則更具有彈性,不須硬分成20%、40%等,而是直接以百分比放入計算,這樣也可避免與其他科學學門產生不一致性(例如工程學門是以前15%為leading journal,而非生物學門的前20%)。除了具有同時考量質與量的優點之外,OI指數還兼具應用與推廣方式更靈活等特質(例如加權、放進適當的offset等),值得學界做為跨學門評估時之參考。

 列印 |  轉寄好友 |  Top |  回首頁

本期目錄
-本期目錄
單元相關文章