財團法人高等教育評鑑中心基金會  

 

校務研究之新境:從資料分析到校務治理
文/黃淑玲
  高雄醫學大學校務研究辦公室執行秘書
  人文與藝術教育中心助理教授
 /黃信嘉
  高雄醫學大學校務研究辦公室博士後研究員

面對大學競合全球化、高教市場競爭、大學公共性與社會責任等議題,教育部作為教育主管單位推動「高等教育深耕計畫」,鼓勵大學校院憑藉以事證為本的精神,重新檢視辦學宗旨、專業特色、在地連結;同時在績效責任與提升教育品質的雙重要求下,建立大學自我課責的文化,也推展具有前瞻的學程或方案,培育因應與解決當下及未來人口、社會,以及全球性問題的人才。

校務研究與校務治理的關係

在辦學特色與教育公益雙管齊下、競爭優勢與公共責任必須兩相兼顧的要求下,大學如何建立自我課責的自評文化?在社會責任與大學市場競爭中建立辦學特色?如何增加自我評估教育效能,並策略發展高競爭力的系所學程?又是哪個單位應該擔綱評估之責?

在上述有關大學治理議題的驅動下,高雄醫學大學去(2017)年舉辦「校務研究與治理」國際研討會。10月25日大會當天,由印第安納大學布魯明頓校區(Indiana University, Bloomington)Victor Borden教授和加州大學舊金山校區(University of California, San Francisco,簡稱UCSF)校務研究辦公室主任汪寧(Ning Wang)博士講述校務研究在美國本土之理論與工作實務。本文就資料驅動決策之結構性因素、校務研究組織樣態與其角色,以及校務研究輔佐校務治理等三大面向,進行綜合整理與闡述。

▲高雄醫學大學去(2017)年10月舉辦「校務研究與治理」國際研討會。(李怡萱/攝)

資料驅動決策的結構性因素

高等教育體系面對全球化、市場化、教育科技推進、非傳統就學人口增加、生源多元等變化,讓大學組織產生質變,定義也從固定年限的學位頒授者,成為終身學習的場域,讓大學可以不斷提升個人的職涯能力。最為人熟知即是「史丹佛2025」(Stanford 2025)計畫, 幫助畢業校友在知識經濟的時代,透過迴游學習而不斷地與時俱進。然而,大學校院要如何有效面對上述的質變?憑藉經驗法則的決策模式無法因應多重、雜度、各類需求相互排擠的大學治理;同時,決策品質的良窳更影響大學校院的競爭優勢。

Borden教授長期參與位處南非、擁有五個校區的研究型公立大學:夸祖魯—納塔爾大學(The University of KwaZulu-Natal, UKZN)的學生學習與職涯發展計畫。表一說明該計畫從協助學生入學到就業,因學習階段的不同,該計畫所設定的議題領域與分析核心自然不同,進而教學、輔導措施與因應之行動方案也隨之調整。

表一  夸祖魯—納塔爾大學(UKZN)學生議題分析主題、分析與行動方案

從表一看來,大學校院應該考慮哪些元素方能做出明智決策,成為大學優勝劣敗的關鍵。訂定主題、資料蒐集、分析探討、結果報告、決策應用等五大步驟,是大學治理的必要步驟,亦即資料驅動決策已經勢不可逆。

大學治理的推力:課責、評估、改善

大學是複雜的機構,內、外部利害關係人多元而相互牽繫。正如Victor Borden教授所言,透過課責(Accountability)、評量(Assessment)和改善(Improvement)等三大面向是大學治理的展現。

● 課責:提供適切資訊

課責意指大學向關切大學教育品質者提供適切的資訊。所以,了解問責者是誰、他們需要的資訊類別以及執行結果,展現高等教育品質,成為大學日常運作的重要目標。以表二為例,學生需要知道就讀學校所提供的師資、工作出路;到人才接收端的業界,則要了解畢業生的就業準備度,以及來自學界的研發支持度。

表二  問責者對於高等教育品質之觀點

因此,課責本身複雜得像座光譜,問責者可以從學生個人到業界法人,每個角色所關切的問題也就從個人的職涯發展層次到組織與國家政策;大學的治理,正在能準確了解問責者是誰、問題為何?大學教育與組織之目標訂定,最終需要落實於問題設定、資料蒐集、研究分析、結果公布、與問責者溝通等連成一氣的脈絡,進而充分反映這問責光譜上各種角色所關切的問題。

● 評估:了解高等教育品質達成情形

評估意即透過不同資料蒐集的方式,了解達成高等教育品質的情形,例如回答表二中各方對於何謂品質的問題。Ruben(1999)將原本評估企業之組織效度、財務管理等表現的平衡計分卡(Balanced score card),轉為評估大學績效,並將構面改為教育/學習、服務/推廣、獎學金/研究成果、工作者滿意度和財務經營。但Borden教授則提出Borden模型(Rajecki & Borden, 2011),將大學品質的評估改為以下四個面向:

1.參與(Participation):哪些人參與了大學教育,誰獲益?例如學生、教職員、公私等部門的社群或組織;而需要的資源包含人力、硬體、財政等。

2.成果(Performance):確認目標完成的程度,包含課程/學程/服務、組織架構與一致性、進展與效度、時程進度、公義、參與者的感受。

3.轉變(Transformation):成果改變了什麼造成了轉變,例如學生的學習進展與發展、 更高層次的知識、創新產品和服務、專業實務的提升、社區發展等。

4.影響(Impact):最後,上述的轉變發揮多少影響力。例如畢業生出路與進修、公民參與度、藝術文化更進步、產品與服務加值、經濟與社會總體效益提升等。

● 改善:回應高等教育問題

最後,改善的定義為以簡單明確又不犧牲決策品質的方式回應高等教育問題。校務研究辦公室需要扮演的角色是決策支援,建立以證據為基礎的校務治理;同時對教職員和學生進行進階教育,讓他們對於校務有參與感,才會積極主動參與整體校務的改善及校正。

評鑑與評估領域的代表性學者Peter Ewell(2002)提出評估的目的,一是績效責任,二是持續改善。不過這兩者的評估屬性與目的不同,前者容易陷入僅粉飾太平,追求漂亮的成績單;後者則針對階段性的結果作分析,並透過中長程規劃逐步達成目標。最終,主動針對外部的需求作出具體回應,並持續運用科學的評估方式進行評估,才是具備說服力、展現績效責任的最佳寫照。

▲印第安納大學布魯明頓校區Victor Borden教授來臺分享校務研究的理論與實務。(李怡萱/攝)

從統計報表到新研究創發與分析工具的運用

決策品質影響整體大學的運作效能。國內各大學校院在教育部的要求下,固定每年上傳基本校務資料,例如學生註冊率管理與退學率、學術論文與計畫的統計分析、教職員人數、年度預算等。當然,教務處關心生源地理區位、建立高中—大學連結;學務處則要了解學生的校園參與、校園生活與輔導、畢業流向;總務處則關心大學的民生福祉,例如水電用量、垃圾量、實體空間分配與維持等;圖書資訊單位多調查各類圖書館藏與借閱情形等。

隨著教育全球化、市場化、產官學連結緊密,輔以各類分析科技工具發達,傳統的報表式校務研究不僅已經融入評鑑,更從大學效能(Institutional effectiveness)出發,以了解大學整體的校務能量與辦學績效。Borden教授談及學習分析(Learning analytics)融入校務治理即是一例。

學習分析是結合大量資料蒐集、統計技術和預測模型所構成的分析機制。透過學習管理系統與校務系統蒐集到學習者的學習歷程資料,並以學習分析為工具,即可鑑別教學第一現場無法蒐集的重要訊息,或了解學習困難等。這些都是有意義的回饋性資料,可針對教學或學習策略提供實證研究的改善建議。另外,學習分析也可運用學生紀錄或問卷調查等方式,結合「大規模開放式線上課程」(Massive Open Online Courses, MOOCs)線上學習系統的資料,探討學生學習成效和教師教學品質。

因此,整合各處室的工作內涵,建立主題研究的脈絡,進行資料庫檔案串接成為必然。資料串接與分析,爬梳如何提升學術與教學能量的脈絡,建立友善工作與學習的校園,才能展現知識經濟中的大學總體產能,創造大學的社會影響力。

校務研究是集體創造力的展現

來自UCSF的校務研究辦公室汪寧主任,則以集體創造力(Collective creativity)的展現來詮釋校務研究工作,因為其內涵包括跨處室蒐集各類原始資料、清理、分析、詮釋、呈報、規劃等。這一連串的工作流都不是由單一處室所完成,而是匯集各處室之力進行同儕協作才有可能,因此她認為,這就是集體創造力的展現。

汪主任提醒,校務研究需要理論和實務應用放在同一天秤上考量,例如校務研究在理論上需要建立資料治理與證據為本的決策機制;然而過往的視覺化分析較缺乏互動性,造成數據解讀單一,無法給予決策者即時多元的分析結果;現在,透過Tableau或是BI套件(Business intelligence)呈現數據分析,則可進行互動,並讓資料分析具有可親近性,分析結果有客製化的效果。

校務研究辦公室運作模式

資料既是校務分析的基礎,就必須考量資料來源與取得的難易度。UCSF汪主任提及校務研究在美國仍面臨資料敏感性與資料擁有權未定的困境,因而造成難以提供具有決策力的分析數據。例如:美國大學生多申請助學貸款或獎學金,這些獎補助資訊是由獎補助單位管轄;而解讀這些資料時也比校務研究辦公室更具有脈絡性知識,因此資料蒐集單位未必會將資料提供給校務研究辦公室進行分析;其他類似議題還包含會計資料、人事薪資等。

校務研究辦公室在大學組織中,如何跨單位聯繫取得資料?其權責合理性何在?這問題牽涉大學校園的組織架構與運作模式。汪主任引述前任美國校務研究協會(Association for Institutional Research, AIR)執行長Randy Swing和研發部資深主任Leah Ross在〈校務研究新視界〉(A New Vision for Institutional Research)(2016)一文,針對校務研究辦公室之運作模式進行以下分類:

1.集中式的校務研究運作模式(圖一):校務研究是中心點,將分析結果提供給學校的其他單位。

2.網絡式的校務研究運作模式(圖二):校務研究辦公室與校內其他單位建立聯合互享的網絡關係。這些單位可以將校務資料提供給校務研究辦公室,當然也可以提供給其他校內單位做資料串接與分析。

3.矩陣式的校務研究運作模式(圖三):也就是校務研究辦公室會有一位校務研究主任(Chief institutional research officers, CIROs)。不過目前美國並沒有大學採用這樣的模式經營,以避免權力過於集中,對於校務研究發展未必是件好事。

4.分散式的校務研究運作模式(圖四):由校務研究辦公室提供結構性支持並培養與關鍵資料互動的管理者。也就是說,校務研究辦公室不再是資料蒐集與分析的核心,而是每個單位都是資料蒐集與分析的據點。

汪主任指出,成功的校務研究辦公室需要幾種特質的角色:持續研究與實踐的身體力行者(doers)、能培養研究與實現人才的促進者(facilitators)、能幫助他人的培力角色(enablers)。只要辦公室擁有這幾種特質的角色,將會讓未來的校務研究辦公室更加成長茁壯。同時她也提到,校務研究要推動順利,最重要的因素不在於新科技和經驗,而是與各單位的溝通協調,因此要不斷溝通、又溝通、再溝通。

校務研究分析與大學治理

大學治理是一門專業知識,決策者在實踐治理的過程可能面對以下幾項議題(Purcell, Harrington, & King, 2012):

1.校園治理需要累積經驗輔以對大學體系的了解:校務研究辦公室需要過濾大量的資料,從中找出有用的資訊,同時依據校務首長過去的決策經驗,提供適合的決策建議。

2.校務領導者需要接受「改變」是常態:校務研究辦公室需要評估每個改變的策略方案,並預期所造成的影響。透過短、中、長程計畫的漸進式方式,才能讓校務首長覺知到,改變仍可以透過合理規劃而予以適當控制。

3.作業時間短促:拜電腦科技進步之賜,每天都會有大量的資料流入,校務研究辦公室需要檢驗這些大量的資料並找出關鍵因素,校務首長也可以隨時給予結論與建議。

4.信任很重要:校務首長的決策資訊都是來源於校務研究辦公室所提供,不僅讓人好奇,這些決策資訊是否可以被信任呢?除了分析資料的信度與效度之外,校務研究辦公室的人員需要合理闡述所分析的資訊。因此,當校務首長需要對校友、董事會或是評鑑者報告整體校務發展現況,校務資訊的準確度就非常重要。

5.任何事件都是一體兩面,有另一面的解讀:無論校務研究分析結果如何,報告解讀總是一體兩面。因此校務研究辦公室需要將大學總體的利益擺在第一位,才能不偏不倚地提出改善建議、績效報告,或回答表二之問責者的問題。

最後,校務研究辦公室扮演了接收校務資訊,並整理彙報呈現給校務首長的角色,在這互動過程中經營辦公室與校務首長的合作默契,建立互信。如此一來,從互動進入互信,才能讓校務首長願意參考校務分析報告進行決策,同時說服其他關心校務運作的所有參與者,進而透過校務研究達成大學的治理。

◎參考文獻

Borden, V. H. (2017, October). Assessing and improving institutional performance: Using institutional research to improve decision-making. Paper presented at the Conference of Institutional Research and Governance, Kaohsiung Medical University, Kaohsiung, Taiwan.

Ewell, P. T. (2002). An emerging scholarship: A brief history of assessment. In T. W. Banta and associates (Eds.), Building a scholarship of assessment (pp. 3-25). Hoboken, NJ: John Wiley & Sons.

Purcell, J., Harrington, C., & King, C. (2012). Supporting Institutional Governance. In R. D. Howard, G.W. McLaughlin, & W. E. Knight (Eds.), The handbook of institutional research. Hoboken, NJ: John Wiley & Sons.

Rajecki, D. W., & Borden, V. M. (2011). Psychology degrees: Employment, wage, and career trajectory consequences. Perspectives on Psychological Science, 6(4), 321-335.

Ruben, B. D. (1999). Toward a balanced scorecard for higher education: Rethinking the college and university excellence indicators framework. Higher Education Forum, 99(2), 1-10.

Swing, R. L., & Ross, L. E. (2016). A New Vision for Institutional Research. Change, 48(2), 6-13.

Wang, N. (2017, October). Our collective creativity: Distributed IR. Paper presented at the Conference of Institutional Research and Governance, Kaohsiung Medical University, Kaohsiung, Taiwan.

Howard, R. D., McLaughlin, G. W., & Knight, W. E. (2012). The handbook of institutional research. Hoboken, NJ: John Wiley & Sons.

 列印 |  轉寄好友 |  Top |  回首頁

本期目錄
-本期目錄
單元相關文章