財團法人高等教育評鑑中心基金會  

 

CHEA國際品質原則系列 美國高等教育認可機構國際品質第五原則──品質與績效
文/侯永琪
  高等教育評鑑中心執行長
  輔仁大學教育領導與發展研究所教授
  亞太品質網絡副理事長
 /王力冉
  輔仁大學教育領導與發展研究所研究助理

高等教育機構及品保機構具有責任對大學辦學績效作出強而有力的承諾,並定期提出品質的證明。也因如此,高等教育機構須將「績效」視為其主要責任。最近一份有關品質保證國際趨勢發展之報告顯示,政府與品保機構之間的關係已產生一些變化(Salmi, 2015)。例如,有的國家冒著可能危害該國國家品保機構獨立性的風險,緊縮其監督角色職權;有的國家則相反,鬆綁各項政策以給予國家品保機構及高教機構更多自主權;也有一些國家為了增進其品保系統的效能,而進行重大的結構調整。

同時,近年來也出現新的績效機制,提供額外的教育資訊,例如增加學生參與調查、強調學習成效評量、加入勞動市場觀察及排名等,以彌補傳統品保機構在評鑑與認證角色上的不足。

▲ 校務研究可以協助大學監督自身的關鍵績效指標。(葉耿亞/攝)

外部績效壓力逐漸增強

近年來,全球高教體系出現不少對於政府或品保機構對大學過度要求績效表現的抱怨。例如,英國和澳洲大學抱怨,政府要求過多的表現指標,導致必須花費相當多的精力和時間在搜集及彙報必須呈報的資料(Salmi, 2009)。

美國高等教育機構亦紛紛對於必須提交大量績效報告給外部監督機構表示憂心,其中包括區域品保機構及專業認證機構、美國聯邦教育部、州政府立法局及高教委員會等。美國國家高等教育績效委員會(National Commission on Accountability in Higher Education, NCAHE)表示:「為達到更好的成果,績效報告是必須的,但這類過多的績效報告並不會有助於大學改善其表現。現有的績效系統可說相當煩雜、設計過度、令人混淆且效率不彰。不僅未能回答關鍵問題,甚至提供政策制定者過多且錯誤的數據,當然也造成高等教育機構太大的負擔」(National Commission on Accountability in Higher Education[NCAHE], 2005)。

而前述所提到新的績效工具,包括:(1)學生參與調查;(2)學生學習成就評量;(3)勞動市場調查資料;及(4)排名,也大量被使用作為測量高等教育機構表現及營運資料庫的輔助工具,亦相當程度影響美國區域品保機構及專業認證機構的評鑑方式。以下即針對這四種績效評量工具進行說明。

績效評量工具之一:學生參與調查

2000年,美國進行第一次大規模的學生參與調查「全國性學生參與調查」(National Survey of Student Engagement, NSSE)之後,不少國家也相繼跟進,主要目的為了解學生如何評量大學教學及學習品質。目前澳洲、加拿大、德國、愛爾蘭、荷蘭及英國,皆有常態性的學生參與調查。中國大陸和南非也在近年進行先導性調查。

學生對教師的評量始於1960年代,之後學生參與的調查中,不僅包含像學生滿意程度調查的主觀性指標,也試著測量出更多客觀面向,如學生在互動式及合作式學習活動中積極參與的程度。一些研究發現,在那些進行常態性學生參與調查國家之高中畢業生,有較好的判斷力來選擇他們所希望繼續就讀的大學(Ramsden and Callender, 2014)。

現今,學生參與調查面臨兩大挑戰。首先,許多學者對調查的信度及效度提出質疑,包括學生在被要求回答學習收穫時,是否有能力作出充分的判斷,以及如何決定影響學生學習關鍵因素之選擇(Porter, 2011)。此外,並非所有利害相關人都能接受將調查結果公開。例如,不少美國大學,包含一些頂尖學府,就沒有把其所做的學生參與調查結果公開。

績效評量工具之二:學生學習成果評量

雖然大學不像中小學教育般,已有測量學習成果的悠久傳統,但高等教育在近年來也開始重視學習成果評量。美國已有愈來愈多的大學採用以下三種評量工具來測量大學本科教育對學生所增加的附加價值:(1)大學學術能力評量(the ACT Collegiate Assessment of Academic Proficiency, CAAP);(2)學生核心能力評量(the ETS Proficiency Profile, EPP);以及(3)大學生學習評量(the Collegiate Learning Assessment, CLA)。

其他國家也發展出類似的評量工具,例如澳洲的「畢業生能力評量」;1996年巴西發展一項自願性「全國性大考」(Provão),主要目的是用來比較全國各大學類似課程的表現。2004年,Provão由另一項新的「全國學生成就測驗」(Exame Nacional de. Desempenho do Estudante, ENADE)所取代,該測驗每三年進行一次,針對少數抽樣出來的學生實施,透過檢驗大一及大四生的考試成績,來測量大學課程的附加價值。同樣的,哥倫比亞評量機構(Instituto Colombiano para la Evaluación de la Educación)也執行兩項分別為SABER-11與 SABER-PRO的測驗,來測量大學生在大學教育之初及結束時之能力變化差異。

雖然美國高等教育機構不贊同使用學生學習成果作為品保的主要依據,但2006年的「史貝林斯委員會報告」(Spellings Commission Report)仍具體建議以測量學習成效來彌補現有品保系統的不足之處,「根據法律規範,學生學習是品保的核心部分,但很可惜的是,學生通常都是最後才知道發生什麼事,且是最不被納入考慮的一群人。比起錯綜複雜且令人混亂的獎助學金系統,評鑑在高等教育系統中,是最不公開,且最不透明的。」(National Advisory Committee on Institutional Quality and Integrity[NACIQI], 2007)。

績效評量工具之三:勞動市場調查

另一個令人關注的發展是,愈來愈多的發展中及轉變中國家開始進行勞動市場調查,如經濟合作暨發展組織(OECD)歐盟就業觀望台(European Union Employment Observatory),就是一項跨國層級就業調查。也有一些國家、地區層級的就業調查,例如美國勞動統計局(Bureau of Labor Statistics)、義大利的大學聯盟觀望台(AlmaLaurea Observatory)、英國威爾斯學習與技能觀望台(Learning and Skills Observatory)、法國的區域性就業與職訓觀望台(Observatoire régional de l’emploi et de la formation, OREF),以及美國佛羅里達州的教育就業資訊系統(Education-Employment Information System)等。

值得一提的是智利所發展的「未來勞工計畫」(Futuro Laboral)。在智利政府的支持下,由私立阿多佛伊巴涅茲大學(University Adolfo Ibánez)的政治學院與智利大學(University of Chile)的工業工程系聯合執行「未來勞工計畫」,其目的是讓年輕人及學生提升學術及研究能力,並同時提供75%的畢業生,上百種專業技能領域的就業資訊。另外,大眾也可獲得包含畢業生詳細薪資水準及工作機會的資料。

此計畫也公布每所高等教育機構每個課程的退學率、平均取得學位時間、大學畢業生平均收入、課程學費及課程認證狀態等。就業及收入資料並非由學生填報而來,而是直接從國家稅務單位的資料庫中取得。

績效評量工具之四:排名

大學排名源自美國,在過去十年以數倍的速度成長,目前已有超過40多個國家採用排名作為評量績效的工具。《美國新聞與世界報導》(US News & World Report)的大學排名已成為美國高等教育最有影響力的績效系統,它運用共同量尺來評量大專院校,創造出強烈的誘因,使得所有高教機構全力提高其排名。雖然排名在調查方式上的限制眾所皆知,但不可否認地,它可提供大眾相關的大學資訊,特別是在缺乏正式品保系統的國家。
例如,當波蘭在1990年代開始轉型為市場經濟時,當地的Perspektyvy排名即提供社會大眾亟欲快速擴張的私立教育機構相關資訊。相同地,日本多年來《朝日新聞》所公布的大學年度排名,補足了評鑑機構無法提供的資訊。

一些排名的內容及項目,也包含了學生參與調查或勞動市場調查結果。如智利國內主要的週刊雜誌Que Pasa,即依據大學畢業生在勞動市場上的表現,並使用「未來勞工計畫」所公布的結果,每年針對大學及課程進行排名。德國高等教育發展中心(Centre for Higher Education, CHE)所公布的排名,則提供大量輸入、過程及輸出等量化指標,其中也包含學生及雇主滿意度調查結果。

現今排名已擴展到世界各地,引發相當大的衝擊及批評,從對於排名這個基本概念的反對,到排名所使用調查方法的批評、杯葛所引起的政治壓力所在多有。有些國家甚至運用法律手段阻止排名的公布。雖然各界批判聲不斷,排名仍然受到學生及家長的青睞,以作為選校的重要依據。另外,排名也引起政府關注,開始設計它們自己國內的大學排名,作為全國性品保架構的一部分。如哥倫比亞教育部在2015年7月啟動了MIDE(Modelo de Indicadores del Desempeño de la Educación)計畫,它是一項以勞動市場調查及畢業生薪資高低來評量高等教育品質的排名。

▲ 大學應與品質保證機構共同建立一套共同認可的指標,以測量教育品質。圖為曾在品保機構任職的日本東北大學校務研究辦公室主任米澤彰純教授。(葉耿亞/攝)

執行品質和績效的方法

執行一項品質與績效的計畫,對高等教育機構而言,並非只是單純地提出一套品質改善策略來回應外部壓力而已,更重要的是要能確切定義高等教育機構的表現指標,而且這些指標在符合大學願景目標下,可以評量大學是否有所進步,是否能反映在大學中長程計畫之中。在此理想之下,有三個相互關聯的作法:(1)整合出一系列相關的績效指標及措施;(2)採納標竿的方式;(3)將機構績效指標納入品保及認證準則及程序之中。

●定義機構績效指標

執行品質與績效的第一步,包括定義與高等教育機構任務、願景及整體目標契合的適當指標。這些指標應盡量把重心放在實際可達成的教育成果,而非在高等教育機構如何運作之上。若以Stein(2005)所提出的定義來看程序績效(procedural accountability)與實質績效(substantive accountability)兩者,後者比前者來得較具意義,因為實質績效著重發生於高等教育機構中研究、教學與學習的實際結果,而程序績效僅著重在規則與程序之上。雖然程序績效較易監督,然而實際績效才是重心。儘管它相當複雜,且不易實行,大學仍須以此為主,如測量研究的影響力、核心能力的習得、學生學習成果及其附加價值等。

在美國已有悠久發展歷史的「校務研究」(Institutional Research),即可以協助高等教育機構監督本身關鍵績效指標,繼而調整校務策略及改善計畫,此一經驗相當值得全球其他國家的高等教育機構學習。其次,當高等教育機構在選擇與其目標最為相關的指標時,也應將現有公開資料納入其中。例如,若有全國學生滿意度及勞動市場調查,應將這些資料納入績效指標的一部分,以作為大學持續改善的動力。

●標竿

許多高等教育機構以「標竿」作為品質改進的方式,而不以較有爭議的「排名」為主。整體來說,標竿是用來比較同儕間特定大學學科或整體高等教育機構之表現的一個過程(Salmi, 2013)。標竿是讓使用者不以排名名次為比較基準,而是以一系列表現指標來了解自身表現,最後提出可使品質改善的計畫。

如德國CHE即發展出一套完整性的資料作為大學標竿使用,但不做排名,只將高等教育機構各項績效表現分為三大類:前25%、中間50%及後25%。此系統所提供的內容及指標,包含了學生及雇主滿意度調查結果。資料使用者可選擇他們想搜尋的大學及指標,將相關資料合併,找出符合需求的資訊並做比較。2009年,臺灣的高等教育評鑑中心也曾發展出類似的系統「大學選校互動系統」。

●與品質保證相互結合的方式

由於高等教育機構本身即是定義及實施績效指標者,因此,建立一項與品質保證機構相關的協議相當重要,一方面能確保與品質保證機構所實施之外部評鑑方法及準則之整合,另一方面則是展現高等教育機構對績效所做出的努力。此外,高等教育機構與品質保證機構必須共同合作建立一套共同認可的指標來測量教育品質、公正及效能,但須雙方皆了解到品質概念,以從傳統測量的方式,轉變到能全面性評估教育成果的方式,其中包含過程指標(例如:學生滿意度、完成學業時間)、結果指標(例如:勞動市場回報率、學習成果),以及機構效能指標。不論現今各國所採用的品質保證系統類型為何,或是使用不同評估工具,如審核(澳洲、愛爾蘭、紐西蘭、英國)、認可(美國)、評鑑(法國、荷蘭)或其他方法等,這種雙方相互認同的模式是相當重要的。

結論:健全績效的原則

2005年,美國NCAHE在「績效是為了更好的結果」報告中,以「榮耀,非恐懼;崇高抱負,非最低標準」為立基點,建議提出一個新的績效理念,此與2016年高等教育認可審議會(Council for Higher Education Accreditation, CHEA)所提出的七大品質原則不謀而合。兩大機構皆希望能將績效責任,回歸至高教機構本身,而非聽命於政府要求,提供一連串繁雜報告,或讓步於一些排名的模糊指標。

然而,此目標的達成必須緊密搭配三項原則:(1)政府與品質保證機構之間必須有平衡及對等的關係;(2)發展具有建設性,而非以懲罰性為目的的品質保證系統;(3)品質保證機構與高等教育機構之間必須建立相互認同之績效標準。

總而言之,一個成功健全的績效機制才能真正促使高等教育機構不斷自我改善,確保教育成果的達成。

◎參考文獻

National Advisory Committee on Institutional Quality and Integrity (NACIQI). (2007). Secretary spellings encourages greater transparency and accountability in higher education at national accreditation meeting. Washington, D.C.: NACIQI.

National Commission for Accountability in Higher Education (NCAHE). (2005). Accountability for better results: A national imperative for higher education. Boulder, CO: State Higher Education Executive Officers (SHEEO). Retrieved from http://www.sheeo.org/sites/default/files/publications/Accountability%20for%20Better%20Results.pdf

Porter, S. R. (2011). Do college student surveys have any validity? Review of Higher Education, 35(1). 45-76.

Ramsden, P., & Callender, C. (2014). Review of the national student survey. London, England: Higher Education Founding Council for England (HEFCE).

Salmi, J. (2009). The growing accountability agenda: Progress or mixed blessing? Washington, D.C.: The World Bank. Retrieved from http://siteresources.worldbank.org/EDUCATION/Resources/278200-1099079877269/547664-1099079956815/EWPS16_Accountability_Tertiary_Educ.pdf

Salmi, J. (2013). If ranking is the disease, is benchmarking the cure? In P. T. M. Marope, P. J. Wells, & E. Hazelkorn (Eds), Rankings and accountability in higher education: Uses and misuses (pp. 235-256). Paris, France: United Nations Educational, Scientific and Cultural Organization (UNESCO). Retrieved from http://unesdoc.unesco.org/images/0022/002207/220789e.pdf

Salmi, J. (2015). Is big brother watching you? The evolving role of the State in regulating and conducting quality assurance. Washington, D.C.: Council of Higher Education Accreditation (CHEA).

Stein, J. G. (2005). The unbearable lightness of being: Universities as performers. In F. Iacobucci and C. Tuohy (Eds.), Taking public universities seriously. Toronto, Canada: University of Toronto Press.

 列印 |  轉寄好友 |  Top |  回首頁

本期目錄
-本期目錄