財團法人高等教育評鑑中心基金會  

 

透過校務研究進行自我評鑑與自我改進
文/王麗雲
  國立臺灣師範大學教育學系副教授

評鑑可以告訴你好壞,但不一定能告訴你該怎麼做,校務研究才可以。

高等教育評鑑之辦理,乃是為確保大學辦學品質,實踐其績效責任,確保學生學習權益(王麗雲,2013),惟以上目標之達成,需賴健全之機構為底,也就是能思考、能反省、能改進之大專校院機構;有好的機構體質,上述目標承諾才不致成為鏡花水月。因此,高等教育機構之經營與發展便至為重要,這也是校務研究(institutional research)的功能。

校務研究攸關高等教育的持續發展

高教評鑑宛如健康檢查,惟只靠健康檢查並不會讓人更健康,能根據各種資訊自我理解與自我保養,才能帶來健康。過去評鑑辦理的焦點,外部性較強,集中在外部標準的符應,過與不過向是學校最在意的事,至於為什麼過?為什麼不過?過了之後怎樣?代表什麼意義?沒過之後如何自處?學校在目前高教脈絡下該如何發展?相關探究不多。103年度系所評鑑指標修訂重點之一,即在強調學校自我分析、改善與發展(項目五)(王麗雲,2013)。美國西部校院認可協會大學校院審議委員會(Western Association of Schools and Colleges - Senior College and University Commission,簡稱WASC Senior)2013年新修正之認可標準第四項也強調受評單位必須能營造組織,投入品質保證、機構學習與改進(WASC Senior,2013)。歸納來說,學校能自主評鑑,自我研究,自我學習,自行管理,具備品保與創新精進的能動性,才是高等教育持續發展的保障。

準此,本文擬說明校務研究的意義與重點,並說明校務研究與自我評鑑及自我改進的關係,最後則探討如何辦理校務研究,以促進高等教育機構自我評鑑與改進。

什麼是校務研究?

校務研究的定義頗多,顧名思義是針對校務所進行的研究(彭森明,2013),Saupe與Montgomery(1970)認為校務研究是「透過資料蒐集、分析、報告,以及教職員行動,以促進高等教育機構的運作與決定」。上述定義指出校務研究的核心要素:資料與行動。在資料部分,校務研究強調對校務資料的蒐集、分析、報告。其次是根據資料所產生的資訊解讀與行動,這些行動包括運作決定與決策決定。當然,校務研究最終的目的是提升學校辦學品質, 促進學校良善發展。研究為本的校務行動應該是校務研究的核心精神。校務研究所強調的研究與社會科學研究有同有異,前者的應用性較強, 經驗知識(experiential knowledge)重要性不下理論知識(theoretical knowledge),不過使用的方法與需遵守的研究倫理並無太大差異(王麗雲,2013)。

校務研究與自我評鑑及自我改進的關係

根據大學法第五條規定,大學應辦理自我評鑑,但執行至此,大學自我評鑑較像外部評鑑前的練習賽,目標是為了通過外部評鑑,而非自我反省、學習與改進,對組織發展的幫助有限。自我評鑑要有效,有五個條件,分別是:(1)歷程受到信賴;(2)品質與學術結構一致;(3)提供適當的訓練和支持;(4)自我評鑑過程中有可靠的資訊及明確的外部參照點;(5)回饋圈是密合的(Quality Assurance Agency for Higher Education, 2013)。這五點中的第1、2、4點,都與資訊及證據有關,也是校務研究的重點。自我評鑑歷程要受到信賴,作法需是系統性的、科學的,主觀的意見與任意的作法不易令人信服,自我評鑑的結果自然不被採信。高等教育社群文化核心是求真創新,自我評鑑若是虛應故事,缺乏可靠證據與探究精神,便違反高等教育核心價值,也不容易說服師生參與自我評鑑。最後,自我評鑑過程中需提供參考資訊以便形成判斷。自我評鑑中對深度資訊的需求,使得校務研究在自我評鑑年代更形重要,以證據為本的檢視(evidence based review)方能帶來有效的學習與改進。

細究校務研究的功能,約有下列幾項:

1.了解校務現況
關鍵校務資料的掌握,是校務發展的根本。簡單(但關鍵)的資料如新生特徵、招生錄取率或報到率、財務狀況、教師研究產出狀況、畢業生就業狀況與學用配合度、利害關係人對辦學的意見等等,若能長期穩定蒐集,可以協助大專校院快速掌握辦學現況。這些資料較屬基本描述性資料,也常常是進一步校務研究的基礎。例如利用臺灣高等教育整合資料庫畢業生流向資料分析發現某個科系畢業生學用配合度相當低,遠低於全校及全國平均,就很有理由可以要求該科系進一步探討原因,甚至進行科系調整或課程改進。

2.發現問題
校務研究透過資料長期追蹤與分析,有時可發現趨勢,使問題浮現。例如發現修課人數過少的課占全校總課數比例越來越高,代表經營成本增加,應該了解並處理(吳正己,2013)。

3.發現真相
學校所蒐集到的資料,或是評鑑資料,常是淺層片面,缺乏脈絡性與因果訊息,而校務研究重原因探究,常會得到與表面印象大為不同的結論。Ehrenberg(2005)提到康乃爾大學原本預計關閉其社會學系,因為該系在全美社會學系的排名一直不理想,但透過校務研究深入分析後,發現該系教授生產力完全不輸全美前十名社會系;校方因而作成與表面數字意涵完全不同的決定,大幅增加對該系的投入,使該系排名躍升。看清數字,找對原因,才能促成對目標與行動的深度思考。

4.解決校務問題
學校中常有各說各話的情況,要解決爭議性的問題,透過客觀數據的分析,比起校內唇槍舌劍或拉幫結黨對校務發展更有幫助。例如師培生名額要多給大學部或多給研究所?學生延畢是好或不好?畢業生學用配合度高一定是好的嗎?畢業生22K問題有多嚴重?何以致之?學校的那些作為會令其更為惡化?客觀數據分析研究,可以給我們證據,獲得多重與深度的理解,根據這些深度理解所作的決定,當然與未經深入研究,只憑表面印象或數字,頭痛醫頭、腳痛醫腳所做的決定要合理。

5.擬定校務發展方向
校務研究若能了解整體高等教育狀況與學校利基,將有助於擬定校務發展方向。校務發展方向之擬定不但要知己,還要知彼(整體高等教育環境、其他高等教育機構表現、全國學生狀況、勞動市場與經濟發展現況與未來趨勢)。這也是校務研究具挑戰性之處。

以校務研究或證據為基礎的自我評鑑,較為深入,為自己所訂的參照點,或對數字所作成的判斷也會較正確、較有意義。當自我評鑑有效,具說服力時,自我改進就較易發生。

如何辦理校務研究為本的自我評鑑與自我改進

校務研究的基礎是資料、解讀與行動。

資料是校務研究的底,校務研究所需要的資料包括量化與質性資料、客觀資料與意見資料、輸入產出資料與歷程性資料、內部資料與外部資料。量化資料靠統計或調查而得,質性資料以文字或訪談為主。客觀資料以事實性資料為主,如生師比、財務狀況等,意見資料如滿意度、認同度、想法等,較偏主觀,但師生集體主觀就是學校所需面對的客觀,學校必須面對。輸入產出資料如學生特徵或學測成績、畢業生就業狀況,歷程性資料如辦理活動、課程教學品質等。內部資料指學校的資料,外部資料如其他學校資料、勞動市場資料、經濟發展資料等。自我評鑑需要「四看」,除了往回看、往內看、往前看外,也需要往外看(Quality Assurance Agency for Higher Education, 2013),這也是為什麼我們需要有全國性資料的原因。找到一些有意義的參照點,將自己放在環境脈絡中審視,判斷可能的因果關係,對機構表現的意義會有更正確的詮釋,也才能找到更有利基的發展方向。

透過解讀詮釋,資料才會有意義,變成可用的資訊。甚至有時需要蒐集更多資料以正確詮釋資料的意義,了解影響現象的因素,才不會是盲目的行動。透過自我研究,達成正確自我評鑑,才能形成好的建議,促進機構改進與自我發展。

圖一為一實例,某系使用臺灣高等教育整合資料庫進行校務研究,發現大一學生認為本系不是學生想唸的科系(量尺為1~4分,系平均分數2.21分,遠低於全校的2.84分,全國的2.77分)。若根據此資料,系的辦學似乎出了相當大問題,若是評鑑,對這個系的價值判斷會是負向的,作成的行動可能是處罰學系,經費刪減或減招。校務研究則會多問一些問題,例如其他數據也顯示系辦學不佳嗎?學生說不想唸這個系,真正的原因是什麼?透過學生訪談,發現量化數字是正確的,大一學生的確恐慌,原因是系上排課及新生入學輔導不足;但是觀看其他量化數據(大三學生滿意度相當高),找到相反的證據,再透過訪談找出矛盾訊息產生的原因,發動課程及學生輔導改革。量化資料是個警訊,也是救贖,學校透過校務研究找到辦學的盲點與利基。在校務研究過程中,透過不同方法蒐集了更多的資訊,綜合資訊進行理解詮釋,作成暫時性的判斷與行動方案。

簡單來說,評鑑著重價值判斷,校務研究則注重原因探究及解決方案。值得注意的是解決方案仍是一暫時性的假設,仍待後續評鑑驗證改進措施是否有效,是以機構自我評鑑與校務研究乃形成一循環,協助機構改進(見圖二)。

展望:校務研究需要條件配合

高等教育評鑑的發展方向,期望大學能擔負起更多自我品保與自我精進的責任,高等教育機構若能透過校務研究與自我評鑑,促進機構學習與改進,則其辦學品質亦應能增進。

做好校務研究,下列條件的配合很重要。首先是資料庫的建置。校務研究所需要的資料庫相當多元,包括機構資料或外部資料,學校要能建立或獲得有效、正確、關鍵之校務相關資料庫,政府也應予以協助。其次是優質的校務研究人員。該等人力需對校務議題有良好的掌握,也應具備研究能力,具備議題智能(issue intelligence)、分析智能( technical analytical intelligence)、脈絡智能(contextual intelligence),成為校務發展的智庫。

校務研究不是萬靈丹,不見得能解決學校所有問題或提出良好政策(Monk, 2013)。但透過校務研究,學校的反省、行動與政策,較能以證據為本,提供較為深入的思考,這些都是校務發展的點滴工程。

◎參考書目

王麗雲(2012)。大專校院校務研究與資料庫應用。載於吳清山、王令宜、成永裕、池俊吉、曾淑惠、蔡明月、彭森明、王麗雲、侯永琪、姜麗娟,我國高等教育評鑑發展與實務(121-149頁)。臺北市:財團法人高等教育評鑑中心基金會。

王麗雲(2013)。103年度系所評鑑項目暨指標修正公布與修訂內涵說明評鑑雙月刊,45,7-11。

吳正己(2013)。校務經營與教育資料庫。「教育資料庫的建置與應用國際研討會」發表之論文,國立臺灣師範大學教育研究與評鑑中心。

彭森明(2013)。高等教育校務研究的理念與應用。臺北市:高等教育出版社。

Ehrenberg, R. G. (2005). Why universities need institutional researchers and institutional researchers need faculty members more than both realize. Research in Higher Education, 46 (3), 349-363.

Monk, D. (2013, August). Applications of institutional research in the administration of higher education. Speech given at National Taiwan Normal University.

Quality Assurance Agency for Higher Education. (2013). Institutional approaches to self-evaluation (IASE): Project report. Retrieved from http://www.qaa.ac.uk/Publications/InformationAndGuidance/Documents/IASE-project-report.pdf

Saupe, J. L., & Montgomery, J. R. (1970). The nature and role of institutional research: Memo to a college or university (ED049672). Tallahassee, FL: Association for Institutional Research.

Western Association of Schools and Colleges, Senior College and University Commission (WASC Senior). (2013). 2013 Handbook of accreditation. Alameda, CA: WASC Senior College and University Commission.

 列印 |  轉寄好友 |  Top |  回首頁

本期目錄
-本期目錄