財團法人高等教育評鑑中心基金會  

 

中原大學校務研究整合智能平台之建置
文/王保進
  中原大學教育研究所教授兼校務研究與評鑑中心主任

2014年美國校務研究協會(Association for Institutional Research, AIR)在比爾及梅琳達.蓋茨基金會(Bill & Melinda Gates Foundation)贊助下,進行一項「高等教育校務研究之改善與轉型」(Improving and Transforming IR in Postsecondary Education)計畫,並在2016年提出三項相關的具體成果,請參見AIR網頁(https://www.airweb.org/Resources/ImprovingAndTransformingPostsecondaryEducation/Pages/default.aspx)。

教職員工生都是校務決策者

其中一項「校務研究未來實務聲明」(The Statement of Aspirational Practice for Institutional Research)明確指出, 校務治理採由上而下(Top-down)的政策與結構將無法確保資訊的選擇與執行走在成功的軌跡中,唯有擴大所有互動關係人對數據本位決策(data-informed decisions)之參與,才能確保機構之決策品質。

因此,未來校務研究必須採用將學生、教師、職工及相關人員都視為決策者之混合模式(Hybrid model),才能確保校務研究成功地扮演機構品質改善之驅動者。根據AIR對校務研究未來發展趨勢之宣示來看,校務研究未來不僅是提供高層決策者做決策之科學建議,而且必須同時提供大學所有互動關係人對所關注議題之科學數據,供作相關決策之依據。

校務研究新取向  更重評估與評鑑

在尊重大學學術專業自主和大學發展多元化之前提下,大學系所評鑑係採逐漸走向學校自主規劃與設計評鑑機制,以能在確保學生學習成效之核心下,落實系所專業之多元發展與辦學特色。因此,在當前學生學習成效已成為高等教育課程與教學,不論在學術研究或實務上共同關注的議題時,從過去在機制面強調建立品質保證(quality assurance)機制,發展迄今則進一步強調透過校務研究之科學數據以確保學生學習成效之品質提升(quality enhancement)

李政翰(2015)即指出,美國的校務研究已從過去強調資料的數量及百分比,轉變為著重評估及評鑑。而美國西部校院認可協會(Western Association of Schools and Colleges, WASC)(2013)大學校務評鑑審議委員會出版的認可手冊亦明確指出,數據(data)是支持教育學程成效檢核、學生學習成效評量和引導教育品質改進策略的基礎。而為了將數據轉化成行動的智慧,必須仰賴於學校具備整合、分析和使用數據的能力,而這些服務的提供通常來自於該校的校務研究辦公室。

以學生學習成效為主軸  建構長期追蹤的學習歷程與成果平台

校務研究(Institutional Research, IR)是透過資料蒐集、分析、報告,以及教職員行動,以促進高等教育機構的運作與決定(Saupe & Montgomery, 1970),其功能在透過盤點與整合校內外各種與大學互動關係人相關的資料庫中之結構性與半結構性數據或非結構性文字資料,以學生學習成效為主軸,建構一個長期追蹤的學習歷程與學習成果之平台,在擬定校務經營或發展之議題後,藉由資料採礦(data mining)之統計技術,研擬學校行政與學術單位以數據為本之變通方案,供作進一步決策之依據。

具體而言,校務研究通常具備了資料管理與建置、提供外部問責報告與內部評估報告、協助互動關係人規劃與決策,以及進行校務研究與策略規劃發展等功能,而這些功能的發揮需建立一個完整的資料庫,在當前校務研究決策者層面擴大,以及校務研究與校務策略規劃、辦學成效評估與評鑑間之關聯擴增趨勢下,更凸顯其重要性,所謂「工欲善其事,必先利其器」正是這個道理。

中原大學校務研究之思維與實踐

中原大學是一所強調全人教育、重視學生學習本位之綜合大學,為檢核學生學習成效,自2011年起每學年均固定出版「學生學習成效問責報告」,以學院為單位,內容計分學生來源、課程規劃、學習情形、學習促進、學習預警與輔導、教學評量、學習成效評估教學、互動關係人意見回饋等八章相關學生學習成效數據本位之指標,作為各學院與系所改善與提升學生學習成效之依據,亦即校務研究之精神與實踐在中原已有多年之基礎。

2015年起,為配合教育部推動提升校務專業管理能力,建立校務研究體制,以落實學校自我課責、績效報告對外公開及標竿學習,中原大學正式在研究發展處下設立校務研究中心,負責推動校務專業管理之各項事務。

中原大學在導入校務研究功能後,進一步發現校務研究與校務經營輸入面之校務發展策略規劃,以及產出面之校務自我評鑑與標竿學習息息相關,因此參酌國外校務研究的內涵,提出圖一之中原大學校務經營與發展品質提升金三角,並採循序漸進方式,自105學年度起,整併校園原有之評鑑服務中心,正式設立一級單位「校務研究與評鑑中心」,未來將持續藉由組織再造,進行必要之組織重整,期能真正落實品質提升之校園文化,落實學生學習成效,提升校務經營效能。

圖一 中原大學校務經營與發展品質提升金三角點

中原大學校務研究與評鑑中心為校內正式一級單位,也是國內第一個真正實編之行政組織(國內各校都是設立由校長或副校長擔任召集人之校務研究辦公室),單位成立時明確提出「中原大學作為一所卓越領先的私立綜合大學,誓言打造一個一流的校務研究與評鑑基地,作為校務經營與發展之支柱」,並以專業(Professional)、創新(Innovation)、加值(Value-added)、客觀(Objective)、科技(Technology)為中心願景,真正落實中心扮演校務行政支柱(PIVOT)之角色。中心之專業技能包括:

1.透過對國際高等教育脈動之掌握,以及對校務經營之了解,對校務研究資料進行資訊萃取與洞見提供之能力。

2.整合校務發展計畫、校務經營自我評鑑,以及校務運作績效評估之校務研究金三角之廣闊經驗,以提供校務主管決策支援之能力。

3.借鑑國內外高等教育評鑑專業機構之經驗,研擬行政與學術單位之自我評鑑機制,有效評估校務經營與運作之績效。

4.深入研析世界大學排名系統之機制,並分析學校之優勢與弱點,提供強化國際競爭力之建議。

5.校務研究與評鑑資料蒐集與報告之評估工具編製能力。

6.量化分析之資料採礦能力。

7.校務研究與評鑑資料、知識、智慧之知識管理能力。

最後,校務研究與評鑑中心清楚知道校務研究為一跨域之專業,業務涉及校內相關單位,因此中原大學在中心內設有一由副校長擔任主席,各單位一級主管與校內大數據專長教師組成之諮詢委員會,以協調處理各項中心跨域之事務。其次,並遴聘校外專家擔任校務研究顧問,定期開會提供校務研究運作與發展之諮詢建議。

從一對一到多對一的數據本位運作

自成立以來,中心同仁多次參加國內外相關之校務研究研討會或工作坊,不斷地見到大學校院發表有關生源分析、休退學、就業競爭力等與校務經營與發展之相關議題,中心同仁對於資料來源之提問,得到的答案都是「資訊單位所提供」的答案。再與相關校務主管關於校務研究數據的對話中,發現校務主管的思維都是「只要校務研究中心或資訊單位能提供所需數據即可」;而資訊單位人員的思維則是「校務研究相關數據資訊單位多已建置」,這種當前校務研究多停留在「校務主管對資訊單位」一對一的供需模式中,運作大抵並不成問題。

但就如AIR所提,校務經營與發展的決策終將走向由下而上(Bottom-up)的互動關係人共同參與之混合模式時,未來校務研究勢必走向「多對一」之數據本位運作,屆時現有供需模式絕非校務研究或資訊單位所能負荷。

校務研究整合智能平台之建置

對於校園資訊化系統之建置,目前在高等教育機構中,我們始終不可能知道最後的資訊化系統藍圖為何,而一開始就打造一個理想的資訊化系統。實際的運作,都是資訊化需求走到哪裡,資訊技術就提供必要之服務。以中原大學為例,整個校園資訊化系統大抵可分為12大系統超過2,000個子功能的服務;亦即中原大學有關校務運作與經營、教師學術生涯發展,以及學生學習成效之資料,是散見在這些由不同開發單位、系統架構與程式語言所建置的系統中。

因此,面對校務研究Bottom-up的互動關係人共同參與之決策模式發展,以及未來各類評鑑不同單位對於數據需求之差異,中原大學校務研究資訊管理與建置,始終秉持著「數據建置者而非提供者」的理念,打造一個「校務研究整合智能(integrated intelligence)平台」,以彙整有關校務運作與經營、教師學術生涯發展,以及學生學習成效之資料;同時在符合政府個人資料保護法之規範,以及校務研究專業倫理要求下,提供校務研究互動關係人一個數據使用之友善環境。校務研究整合智能平台分為三個層次,包括:

圖二 中原大學校務研究整合智能平台架構

1.基礎建設架構(infrastructure framework)

這一層次為歷年校園資訊化系統的成果,以及校外有關中原大學之資訊系統,如大考中心之交叉查榜系統、人力銀行之畢業生流向系統等。整個層次約可分為學生學習資訊系統、教師職涯資訊系統、校務行政資訊系統三大部分。

2.整合資訊(integrated information)系統

這一層次正是在打破「校務主管只要有數據,不管數據怎樣得來;資訊主管都說數據我都有」的「一對一供需」盲點。之所以要建置這個整合資訊平台,係參酌產業商業智能(business intelligence)的概念,企業面對大數據時代,必須將業務系統的訂單、庫存、交易帳目、客戶和供應商資料及來自企業所處行業和競爭對手的資料,以及來自企業所處的其他外部環境中的各種資料加以整合成一個資料倉儲系統,以利企業各部門各層級之決策。

中原大學計畫以三年時間完成平台建置,在評估人力與成本考量下,雖僅獲教育部200萬之校務研究經費補助,但校長在衡酌校務研究未來之重要性後,投注超過教育部補助款三倍的經費,引進一套國際大數據資料庫倉儲系統,以能逐年將有關校務運作與經營、教師學術生涯發展,以及學生學習成效之資料整合在一個平台中,方便後續使用。目前已完成第一階段有關學生正式課堂學習之相關數據,計分入學成績分析、在校學習成績分析、課務成本分析、全國註冊率分析、交叉查榜分析、教學評量分析、畢業生流向調查、企業雇主滿意度調查、UCAN分析、人力銀行資訊分析等十大系統共超過200項數據指標。

3.經營與研究議題分析

這一層次即依據校務經營與運作相關互動關係人之需求,結合包括R語言、SPSS、SAS、TABLEAU視覺化系統,利用整合資訊平台之數據,進行統計資料採礦分析,以提供校務經營與發展之數據本位科學決策。

校務研究整合智能平台建置之困境

依據中原大學推動校務研究業務以及建置校務研究整合智能平台之經驗,以及國內大學校院推動校務研究之實務,目前大學校院推動校務研究所遭遇之困境包括:

●定位不明

由於校務研究在國內是一個新興議題,且政策推動是由教育部採補助款方式由上而下之政策進行,因此,學校行政人員與教師迄今對校務研究之內涵、功能及重要性尚未充分了解,使得校務研究在校內形成定位不明的窘境,成為一個申請後續政府相關競爭型計畫數據提供者之角色,而忽略了校務研究在校務發展策略規劃與後續成效評估與評鑑所應扮演之數據本位決策功能。

●專業人力欠缺

一個完整的校務研究單位應同時包含四種專業人才,包括對高等教育學理與實務熟稔之教育專家;決定要蒐集哪些資料、怎麼蒐集資料、建立資料架構,並應用於解決問題之資料科學家;建置資料管理架構與系統之資料工程師,以及進行資料採礦之統計學家。這樣的人力需求,在目前國內校務研究單位人力編制薄弱,以及四位一體之專業人才難求之困境,造成對校務研究專業推動,參與的人員都認為相當重要,但又無法全盤掌握校務研究之窘境。

●資訊能力薄弱

由於缺乏資料科學家與工程師之參與,目前大學校務研究單位普遍缺乏校務研究資料庫整合能力,以及運用大數據進行資訊萃取之能力,而只能眼見國外大學校務研究專業因已發展成熟且資料庫建置完整,故能依校務經營與發展需求結合統計軟體,進行各種議題分析之現況,因此產生「東施效顰」式的進行一些生源分析、休退學、生涯競爭力分析,而忽略了校務研究專業的蹲馬步功夫,同時在教育部補助款有限之窘境下,忽略了校務研究整合資料庫之建置。

●資料採礦技術能力不足

校務研究要能達成最終數據本位科學決策之精義,資料採礦技術扮演最後一哩的關鍵角色。因此,受限於資料採礦技術能力,目前都只能根據資料利用視覺化軟體(如TABLEAU)做一些描述性統計表格或統計圖,而未能依據資料(data)萃取更多有意義之資訊(information),甚至進一步整合成系統性知識(knowledge),累積沉澱成校務經營與發展之智慧(wisdom)。

因應之道

校務研究專業的發揮,需要高等教育專業、統計專業、資料科學專業,以及資料建置工程專業之整合,這種四位一體人才可遇不可求,因此可行方式就是結合校內外專業,選擇四人共同合作的方式以為因應。同時,校務研究單位除自我基本功夫之建立外,校務研究專業屬於校務跨領域範疇,因此校務研究主管必須同時發揮向上管理、平行整合、向下溝通三種角色,我國現況又無法如歐美大學有策略副校長之編制,因此校務研究主管宜為學校一級行政主管,並深諳學校文化且有基本人際脈絡,且理想上由具高等教育實務專長者出任,了解教務、學務、研發、國際化、通識教育等領域,才能因應校務經營與發展需求,結合與領導另外三種人才,發揮校務研究數據本位決策之專業功能。

在大數據時代,社群網路高度發達,因此校務研究相關資料之累積既快且量多質雜,一個完整之校務研究整合智能平台架構如圖二,在三個層次的架構中包括了六項重要工作,中原大學即植基於「校務研究(IR)+大數據(BIG DATA) +商業智能(BI)=整合智能(Integrated Intelligence)」之理念,推動校務研究資料庫之建置與業務之推廣,平台建置完成可以同時提供所有相關校務經營互動關係人使用,並滿足不同需求者對資料之要求,以因應我國高等教育之新機會與新挑戰。

◎參考文獻

李政翰(2015)。我國推動大學校務研究之策略評鑑雙月刊,57,9-15。

Saupe, J. L., & Montgomery, J. R. (1970). The nature and role of institutional research: Memo to a college or university. Tallahassee, FL: Association for Institutional Research.

Western Association of Schools and Colleges (WASC). (2013). Handbook of Accreditation 2013 Revised. Alameda, CA: WASC Senior College and University Commission.

 列印 |  轉寄好友 |  Top |  回首頁

本期目錄
-本期目錄