財團法人高等教育評鑑中心基金會  

 

大學建立校務研究體制之建議:以學習成效評估及提升機制為例
文/何希慧
  臺北市立大學教育行政與評鑑研究所副教授

有鑑於臺灣少子女化衝擊,大專校院一年級新生至105學年度開始銳減,預計當學年度新生數將降為252,058人,另一波明顯降幅則出現在109學年度(較前一學年減少27,710人),約計大一學生為213,401人,111學年度更降至189,402人,至112學年則僅有184,498人(教育部,2014)。然政府高教經費投入無法趕上教育支出,學生數減少勢必影響學校學費收入,辦學資源不足將造成教育品質提升有限。再加上入學學生素質不一和休退學情況嚴重,致使畢業生繼續升學情形、就業率、學用合一狀況,和雇主滿意等辦學績效,已成為社會關注和校際評比的關鍵項目。

設立校務研究辦公室  建構追蹤學習成效的平台

為提升校務專業管理能力,建立校務研究(Institutional Research, IR)體制,以落實學校自我課責、績效報告對外公開及標竿學習,許多大學已著手規劃成立校務研究辦公室,期透過盤點、整合、管理及應用校內外既有的資料庫╱資訊系統之數據╱文字資料,以學生學習成效為主軸,建構一個長期追蹤的學習歷程與成效資料平台,並透過分析統計和策略方案(strategic planning)過程,掌握學校校務發展脈絡和國內外高教改革趨勢,建立學校行政與教學單位數據╱事證為本、績效責任為承諾的決策支持模式。同時藉由釐清影響學生學習成效的相關因素,建立預測模型,以作為教學與輔導機制和學校資源投入之調整依據。更重要的是,透過校務研究報告定期公開與動態策略式專業發展模式,以達學校跨單位職能合作、知識管理、自我評鑑,與標竿學習的目標。

為協助學校提升校務治理能力,善用教育資源提高學生學習成效,教育部於2015年5月訂定「補助大學提升校務專業管理能力計畫審查作業要點」,希冀透過計畫引領和部分經費支持,逐步推動我國高等教育進入校務研究專業發展;亦即藉由客觀數據╱資料分析提供實徵資訊,以作為學校在資源分配、人力素質、入學管理、學習成就、學生輔導、認可評鑑等辦學績效應變對策與校務決策的重要依據。

由於多數大學現階段建立校務研究專責單位及其運作模式尚屬新手階段,各校除積極向國內外大學觀摩取經,教育部亦參酌校務研究專業人士的建議,擬定初期發展項目,並以「大學生學習成效評估及提升機制」為主題,作為學校推動方向與配套措施之參考。本文旨在學校規劃校務研究專責單位及其運作模式時,針對「組織及運作面」、「專業人力資源面」和「校務應用面」,提出現階段規劃時宜注意事項與建議。

從描述→診斷→預測→處方  兼具後見、洞見、預見的動能發展

各大學在校務研究議題上,皆以學生學習成效為核心,除呼應社會對大學辦學品質的監督及就業市場對人力條件的要求外,過往因應頂尖大學╱典範科大計畫、教學卓越計畫或校務╱系所評鑑等計畫的實施,各校多已建立校務相關資料庫,並擁有不少原始數據,尤其是學生和教師e化系統更是累積多年資料,值得作為資訊處理、專業分析與解釋、預測模型與策略規劃之依據。如同美國史丹佛大學和國立中山大學在校務研究發展願景中指出,校務研究是從基礎的校務資訊蒐集、整合及管理工作開始,並朝向務實地協助校務決策最佳化的目標前進。以操作面而言,依序從描述性分析(知道發生了甚麼),透過研究發展,推進到診斷性分析(知道為什麼發生),進而進行預測性分析(知道會發生甚麼)和高難度但亦具高價值的處方性分析(知道如何使其發生)。如此的校務研究系統,即具備後見(hindsight)、洞見(insight)和預見(foresight)的動能發展。

組織特性及運作重點

大學在規劃校務研究辦公室時,其組織層級一定要能有效地與跨單位協作,整合並收集相關單位資料,其功能與定位務必要能統整和掌握校內中央資料倉儲系統。此外,其層級設計須有助於和教務處、學務處及其他與學生學習有關單位一起研擬行動方案,使組織運作能量和效益呈現最大化,確保執行品質與成效。另為使該辦公室永續運作,建議學校能使其成為校內正式單位,明確界定該單位之功能、定位與任務,避免僅以設置委員會或工作圈等臨時編制形態來運作。

再者,根據Howard等人(2012)的建議,校務研究的任務內涵可包含四大類:(1)資料管理與技術支援:含學生資料庫、教師資料庫、財務資料庫、資料倉儲、軟硬體支援等;(2)數據挖掘與分析;(3)研究與發展(含規劃與專案):包括學生事務(如學生資助、就讀經驗調查、學生續讀率);教師聘任升等與工作量;學生學習成效(如專業評估、成就表現);空間分配;課責與績效指標;成果評量;利害關係人調查研究;校園氛圍研究;入學預測;入學管理;畢業生研究(含畢業率、雇主滿意度);決策支援研究(含調查工具與技術、策略規劃);標竿分析;收入預測;校務效益╱效能監督(Institutional Effectiveness, IE)及永續發展;和(4)外部與內部報告:向外部單位(如政府部門、撥款單位、國際排名機構)進行報告;視覺化統計圖表分析;大學簡介;呈報政府官方數字;認可評鑑報告書;校務研究專題報告等。

由此可知,校務研究議題多元,運作規劃的流程為:資料建置與管理→數據分析與評估→策略形成與方案執行→成效稽核與成果公開。除此之外,根據美國校務研究辦公室的規劃,建議學校能聘請專職且專業的分析人員,透過跨單位╱跨領域分析研商,使校內參與單位都能依研究議題進行滾動式校務管理運作與決策制定。

學生學習成效評估及提升議題分析

以目前各大學關注的學生學習成效評估及提升議題為例,學校應指出該校學生學習的問題為何,所擇定的學習成效研究議題亦應清楚明確。例如,課程結構與教學資源影響學生學習成效之分析;學生在學學習動機、學習模式與學習成效相關性分析;休退學及延畢因素之分析;經濟弱勢學生學習成效與獎助學金資源投入之關聯性分析;學生參與實習課程對就業力提升之滿意度和未來工作意向之分析;數位學習與巨量資料分析;學生職涯發展情況及其與學生個人、教師、學校資源等關聯因素之分析;影響畢業生畢業流向和學用合一差異性分析之研究;各入學管道與學業成績表現、在學穩定度、社團及服務表現之相關性研究等,以解決學校所面臨的學生學習成效相關問題。之後再提出擬執行學生學習成效的評估工具與分析技術,如意見與行為衡量方式、問卷調查、預測模型、分析法等,以及作為提升學習成效的具體策略和應用措施。

以銘傳大學為例,該校Moodle教學平台自開台以來,已累積有近4千6百萬的登入人次、6萬多門的課程量,以及數以億計的學生活動日誌,這些珍貴巨量資料可透過資料探勘步驟進行挖掘。研究是以過往的課程學生作為樣本模組,對現行的課程學生進行學習行為特徵和結果預測,結果顯示確實能藉由學生投入(engagement)學習的程度預測出學生學習成效,致使提前於學期初的四至六週即能做出準確的前期學習預警,幫助教師辨識有潛在學習困難的學生,提供學生個別化學習建議與輔導,有效減少輟學和退學率。

該校在Moodle學生學習成效分析的研究方法是先選定重要課程,利用學生在Moodle系統中的活動日誌資料為依據,將一學期18週的學生學習活動資料分為六個學習期間(即每三週視為一期)。再利用分類法(classification),將前一學期學生在各個期間的學習活動資料加上期末成績進行資料訓練,以建立出預測模型(predictive model)。之後,便可將學生在新學期各期間的活動狀況資料投入分析,以預測學生可能的最後成績。目前該研究結果預測的準確率達七成五左右,可具體指出那些學生無法通過課程,即能提早給予輔導協助。而該系統開發整合資料探勘程式,自動於Moodle中將各週期的學習資料產生預測提供給教師,使教師能精確地掌握學生學習狀況,幫助其達到最大的學習成效。

綜上發現,在學生學習成效資料的取得、收集、儲存和分析上,建議學校在建置校務系統和學習成效系統時,即能以學生個人資料作為資料串接單位,且所有發展出來用以收集學習成效資料的架構和評量工具應具邏輯性和系統性,以真實反應學校各項教育、課程與教學規劃,對學生學習具有加值效果。此外,在儲存與分析資料時,建議學校能善用資料倉儲和資料視覺化等技術,以提高資料正確性、可靠性及相關利害關係人對資料的易讀性(accessibility)。

專業人力資源應持續增能

另在專業人力資源部分,校務研究辦公室因功能與任務分類,建議成員應具備資料庫管理、質量分析或高等教育(含校務治理)等專業,並能透過持續增能與專業發展方式,提供前述專業人員知能成長管道,如美國校務研究協會(Association for Institutional Research, AIR)提供線上學習課程(https://www.airweb.org/EducationAndEvents/OnlineLearning/Pages/default.aspx),或赴國外大學校務研究辦公室進行短期實習,除藉此與其他校務研究者經驗交流,形成學習社群外,更能增進個人專業水準,並與國際接軌。

整合學習成效分析系統  引導教師重視教學成效

在校務應用層面上,既然強調學生學習成效與提升是規劃主軸,學校的教學輔導系統就應與學生學習成效分析系統做整合;亦即學習成效分析的結果能與學校的學習輔導措施緊密連結,促使分析結果的運用能有助於校內改善教學服務輔導的效果,以形成分析應用與回饋調整的正向循環。再者,學生學習成效的結果運用亦應與校務資源分配的決定和教師升等制度結合,以提出確實的數據╱事證供校務決策層使用,及制定能引導教師重視教學成效的激勵機制。

逢甲大學即應用教學卓越計畫整合校內學習資源,並運用校務系統記錄各類型數據,據以建立CIPP(Context, Input, Process, Product)模式的學生學習歷程與成效資料庫。該校進一步運用分析結果並搭配畢業生流向追蹤結果,用以回饋訂定學校教學卓越計畫推動主軸和校務發展計畫內容,並形成滾動式校務資源配置與投入,以落實學生個別化輔導機制。

另外,以臺北醫學大學的弱勢學生(含經濟、文化、社會弱勢)學習輔導為例,該校研究100至103年度平均408名弱勢學生(占學生總數6.75%)之校園學習參與情形發現,在學習表現上,平均約落於全班排名40%至80%間;社團參與率為24.9%,與全校平均參與率52.5%有顯著落差;在國際移動力的養成上,平均僅有56.9%弱勢學生通過外語認證,26名(7.1%)參與國際交流。故透過校務研究,學校把近三年弱勢學生之經濟挹注與學習成效相關性做一研究主題分析,結果顯示,經濟挹注與學生學期成績排名成長具有正向的相關性;亦即滿足弱勢學生基本生活需求後,其專業知能的養成相對會更落實。因此,透過連結學習成效分析結果,學校具體提出教學輔導與資源投入改善策略,如個別醫療支持輔導(Individualized Service Plan, ISP)機制;學習預警、身心障礙學生專屬課輔與學伴機制;就業輔導;各種勵學專案;保障弱勢學生海外交流或研習補助名額;廣邀企業捐資興學和校友小額長期認養等策略,以關注弱勢學生實質所需及其學習支持。

建立具統整性與系統性的資料庫平台

校務研究對臺灣多數大學而言,尚屬推動初期階段,其體制的規劃與建立亦多參考國外大學校務研究辦公室實務運作的經驗,惟在引用建置時,務必思考個人服務學校的校務管理運作機制、學校高層對校務研究的認知及其對研究議題的需求、校內跨單位工作關係與協作文化、校務研究人員知識管理與研究分析能力,以及盤點、整合與管理現有系統資料庫之可能性等問題。畢竟校務研究需要長時間累積結構式資料(如資料庫)和半結構式資料(如紙本調查),其資料來源、操作定義、更新時間與頻率等,都是學校未來建立校務研究資料模型、設定學生學習成效研究主題和資料分析的基礎,故在初始規劃階段,學校的校務研究資料庫與平台建置是否具統整性和系統性,將是關鍵因素。

◎附註

教育部(2015)。教育部補助大學提升校務專業管理能力計畫審查作業要點。取自http://ir.ord.ncku.edu.tw/ezfiles/387/1387/img/2316/857695165.pdf

教育部(2014)。大專校院大學1年級學生人數預測報告。取自https://stats.moe.gov.tw/files/analysis/103higherstudent.pdf

Howard, R. D., McLaughlin, G. W., Knight, W. E., & Associates. (2012). The handbook of institutional research. San Francisco, CA: Jossey-Bass.

 列印 |  轉寄好友 |  Top |  回首頁

本期目錄
-本期目錄
單元相關文章