財團法人高等教育評鑑中心基金會  

 

使用學習成效系統(SELF-COLA)評估大學生學習經驗
文/林靜慧、陳俊宏
  國立中山大學校務研究辦公室助理研究員
 /施慶麟
  國立中山大學校務研究辦公室執行長

高等教育肩負人才培育的任務及社會責任,更是促成知識經濟社會的重要指標。由於臺灣高等教育近20年來過度擴張,稀釋了教育資源,加上少子化的衝擊,致使人才培育出現學用落差及產業供需失衡的現象,社會大眾也對大學畢業生之學習成效產生許多疑慮。

校務研究在國內大學蔚為風潮

為此,教育部在104學年度推動「大學提升校務專業管理能力計畫:建立大學生學習成效評估與提升機制」競爭型補助計畫,希望各大學校院在建置校務研究單位以及實際執行校務研究的過程中,導入科學化的實徵資料應用與研究,以協助解決高等教育面臨的困境與挑戰。該學年度計有26所大學校院獲得教育部補助,因而帶動臺灣高等教育機構進行校務研究(Institutional Research, IR)的風氣。臺灣校務研究專業協會(Taiwan Association for Institutional Research, TAIR)亦於2016年1月26日成立,2016年5月10日內政部正式核定立案,作為國內大學校務研究資訊經驗以及與國際交流的平台。

有鑑於校務研究的重要性及教育部的積極推動,國內各大學已陸續成立校務研究單位,並直接隸屬於校長或學術副校長層級,使得校務研究受到廣泛重視並形成風潮。本篇文章旨在分享國立中山大學校務研究專業管理推動經驗,並著重介紹學生學習成效評估系統的應用,藉由學習成效評估系統的推動,有助於大學端對於學生學習特質的發展與學習經驗的了解,以改善大學的教與學。而唯有了解學生的各種影響因素(在校、在課,以及來到學校前的數據),才能實際對現行機制提供回饋及改善建議,進而提升臺灣高等教育的品質。

中山大學校務研究專業管理推動經驗

中山大學是高東屏區域教學資源中心召集學校,在教育部資源持續挹注下,近年來積極整合區域資源,建立學生學習成效培育與檢核機制,作為本區域之特色,同時扮演教學資源典範移轉與資源共享的角色。秉持這樣的精神,中山大學於103學年度第一學期第8次行政會議通過「國立中山大學校務研究辦公室設置要點」,2014年12月正式成立校務研究辦公室,希望透過IR辦公室的成立,進一步協助學校作為以證據為本的決策分析依據,達成校務永續發展。

此外,中山大學亦於104學年獲得教育部校務研究競爭型計畫補助,使得IR辦公室的人力配置更為完整。IR辦公室的運作核心理念在於透過資料蒐集並分析實證數據的方式,建構科學化的學生學習成效品保機制以協助校務決策,並落實上述歷程制度化之推動實施。校務研究辦公室隸屬於學術副校長,並由辦公室執行長帶領兩個組──「資料庫整合與管理組」及「策略研議規劃與資料分析應用組」,協同校內相關研究單位(如教育研究所、巨量資料分析學程等)、工作圈夥伴以及校內外諮詢委員會定期召開會議,建立良好的合作與溝通之組織文化,進一步進行校務研究議題的規劃與調整。

中山大學IR辦公室在專業發展的學習歷程中積極主動,不僅參與TAIR提供的教育訓練平台,更參與國內外校務研究工作坊及研討會,與專業夥伴進行經驗分享,彼此學習。

學習成效評估系統

配合教育部大學提升校務專業管理能力計畫的主軸──學生學習成效,中山大學IR辦公室在105學年度的計畫執行以三大面向為主,包括學習成效評估系統應用、大學招生管理及策略規劃,以及畢業生流向追蹤調查研究。其中,學習成效評估系統應用包含「大學生學習成效評量」(Collegiate Learning Outcomes Assessment,簡稱為COLA)系統與中英文基礎能力檢測平台。

中山大學自98學年度起進行「大學生學習與生活檢核量表」(Student Evaluation on Learning and Life Scale, SELF),作為中山大學教學輔導、生活輔導及招生策略訂定之參考,透過蒐集學生校內外生活的學習經驗與學習參與狀況,提升學生學習品質,並作為改善學校辦學績效與提升教育品質的依據。累積數年經驗後,自102學年度開始,以一年的時間規劃並擴充SELF,建立中山大學「大學生學習成效評量」(COLA)長期追蹤資料庫,將調查的主題與架構聚焦於大學生學習經驗、學習策略與動機、身心發展適應與學習歷程、就業力與就業市場表現的連結上,更有系統地蒐集資料並強化後續學生學習輔導機制。

此系統採用線上問卷調查方式,每年9月針對大一至大四在學生展開第一波的資料蒐集,除了在學期間每年均接受調查外,畢業後亦持續追蹤三年,藉以改善教學品質與提升學習成效,並提供滿足外部評鑑與實地訪評所需的各種資訊。

COLA問卷最主要的特色是固定樣本長期追蹤(panel data),能有效協助大學端了解學生學習成效、學生畢業流向及生涯發展情形;此外,學生在填答完畢後,COLA系統除了能即時提供包括雷達圖與發展趨勢折線圖等統計圖表外,亦包含學習診斷與輔導回饋等質性結果,能幫助學生進行自我了解與診斷,並提高學生上網參與填答問卷的意願。透過縱貫性資料的蒐集研究,學校可以了解學生在不同時期與學習階段的成長變化及發展趨勢,進行整體性評估與追蹤,清楚地反映學生在大學動態的學習歷程。

COLA各年級問卷特色各異

COLA問卷係屬長期追蹤調查,施測對象為全校在學學生及畢業後三年內的校友,問卷主要測量面向如下:大一至大四問卷的共同面向包含歸屬感、自尊與快樂感,大一另增加好奇心、生活滿意度及心理幸福感等面向。此份大一新生問卷可了解學生入學前的學習特質表現及對大學的自我期待,此為長期調查中的第一階段。

大二至大四則同步測量學習經驗及教與學面向。另為配合大三及大四學生就業規劃的需求,這兩個年級的學生另外增加了關於生涯自我效能及職業意像之面向(參考圖一)。整體而言,大二到大四的問卷著重於了解學生大學四年來的學習成長及自我診斷評量。

在大學教育中,內在或外在因素都可能會影響學生的學習參與及表現,透過COLA系統長期追蹤調查資料,並結合教務及學務資料,可系統性蒐集學生學習成效,導入校務研究分析,將研究發現回饋學習輔導的機制,有助於確保每位學生的學習品質。更重要的是,COLA可以廣泛地了解不同世代大學生的學習傾向、學習經驗及其影響,協助改善大學的教與學,提升學生的競爭力,並協助校務研究的運作。

COLA學習成效評估系統雖由中山大學獨力開發完成,但基於區域資源整合與分享的理念,於開發完成後即開放區域內夥伴學校使用,目前參與的夥伴學校有國立高雄大學、國立高雄師範大學、高雄醫學大學、國立屏東大學、國立屏東科技大學、義守大學、實踐大學及國立臺東大學。

應用COLA資料的校務研究案例

學生學習成效的評估有很多種方式,美國「國家學習成果評量機構」(National Institute for Learning Outcomes Assessment, NILOA)調查美國高等教育機構自2009年至2013年的資料,發現大抵以全校性學生問卷調查、評量表(Rubrics)、課堂學習表現、雇主及校友滿意度問卷為最主要的學生學習成效評量方式。為了探究學生進入中山大學就讀各年期間的學習狀況及成效,並從中找出學習成效的關鍵影響因素,COLA系統以時間軸為核心,彙整統合學生入學前以及在學階段之學習經驗,形成學生學習成效長期追蹤資料庫。

茲以大一新生入學問卷為例,其中一道問卷題項為了解大一新生進入中山大學的自我期望,資料來源包含99至103學年度。透過描述統計分析發現,歷年來新生對於進入中山大學後的自我期待,包含:找到自己的興趣、與大學教授能密切交流、成績至少在80分以上,以及認真學習以便進入研究所(如圖二)。基於這些發現,大學端相對應地提供適切的教學輔導措施,例如:推動「大專校院就業職能平台」(UCAN)職涯量表的填答、大學導師輔導及教師輔導時間(office hours)制度的規劃、學習輔導角落與補救教學的安排等,透過校務研究分析的結果,回饋行政實務層面,建立迴圈機制,調整現行措施,協助新生順利銜接大學生活。

圖二 COLA問卷題項舉隅

此外,透過COLA問卷資料串接教務、學務資料,我們進一步探討不同管道入學的學生對於選擇中山大學的志願序分析。透過長期縱貫性資料的分析發現,超過半數經由繁星及個人申請管道入學的學生,將中山大學視為前三志願選擇,而考試分發則是將中山大學列為第五志願之後作為考慮就讀的選擇,此也直接或間接地影響學生在學表現以及學習投入。

未來展望

考量學生學習成效是評估與改善大學教育品質的重要依據,完善規劃且具備良好信效度的評估系統對校務研究的運作具有相當的重要性。中山大學COLA系統自103學年度施測至今,已成功蒐集七個年次、跨三個年度的資料共計15,000餘筆,並廣泛應用於支援校務研究各主題的探討,例如:學習歷程與就業表現的分析、創新教學法提升學生學習投入的效能等,研究成果並已用於建立相應之校務回饋機制與決策之參考。

檢視當前高教脈動與中山大學近十年來投入學生學習成效相關研究之經驗,COLA系統未來將進一步在兩個面向進行發展與調整。首先,COLA問卷預定開發大五問卷,測量面向將包含延畢生特質、延畢原因、學習經驗、後續生涯規畫等的評估,期能掌握當前大學生的延畢機轉,以作為輔導強化學生自我生涯規畫的重要依據,建立學生從入學前、在學中與畢業後之完整歷程的學習成效評估系統。

其次,在106學年度與109學年度,COLA評估系統將分別完成學生學習歷程的小追蹤(大學期間)與大追蹤(大學至畢業後三年)調查,屆時,完整串接的大學學習歷程資料將能有效支援學習成效的縱貫性研究,並能用於檢視問卷內容跨時間的信度與外部效度評估,並進一步對測量構面進行去蕪存菁,以提升評估系統的效率與精準性,確保對學生學習成效的測量品質。

可以預見的是,在未來高教環境變遷與國際化衝擊等不確定性因素下,類似COLA之學生學習成效評估系統,對於大學確保高教品質、IR研究之支援,以至於協助機構重要政策的制定,將扮演愈來愈重要且不可或缺的角色。

 列印 |  轉寄好友 |  Top |  回首頁

本期目錄
-本期目錄