財團法人高等教育評鑑中心基金會  

 

第二週期系所評鑑「學生學習成效評估機制」內涵分析
文/蔡小婷
  輔仁大學管理學院組員
  國立臺灣師範大學教育研究所碩士

高等教育評鑑中心於2006年啟動系所評鑑工作,從輸入面強調「提供學生一個優質學習環境」的精神,於2010年完成第一週期系所評鑑。2011年,高等教育評鑑中心進行校務評鑑工作,其核心要素之一即為引導大學校院擬訂學生學習之核心能力,並據此研擬學生學習成效評估機制。2012年,高等教育評鑑中心啟動第二週期系所評鑑,此次評鑑接續第一週期系所評鑑「提供學生一個優質學習環境」之精神、校務評鑑「學生學習成效評估機制」之核心要素,從「過程面」評鑑系所學程所建立之學生學習成效評估機制,落實教育目標與核心能力的作為與相關成果為何。自2012年到2013年上半年,高等教育評鑑中心已辦理了24所大學的系所評鑑工作(高等教育評鑑中心,2013)。

為了解各系所學程「學生學習成效評估機制」以及「改善機制」落實之情況,本文旨在檢視此24所大學中,屬管理與商業學門通過系所評鑑者的「自我評鑑報告」,針對「學生學習成效評估機制」進行簡易分析,並提出相關發現與建議(註1)。

第二週期系所評鑑向度、評鑑項目  參考效標與學生學習成效評估機制

檢視高等教育評鑑中心設計之評鑑項目,其內容均圍繞著教與學兩大核心進行設計,並規劃「計畫(Plan)、執行(Do)、檢核(Check)及行動(Act)」之品質保證四個向度架構評鑑系所。此四大向度為:(1)計畫面(Plan):系所根據教育目標訂定學生畢業應具備之核心能力,並轉化成具統整性與系統化之課程規劃與設計之歷程與成果。(2)執行面(Do):即系所根據所制定之核心能力與對應之課程設計,在「教師教學與學習評量」與「學生輔導與學習資源」之落實。(3)檢核面(Check):系所在學術與專業之表現與畢業生表現之具體成效。(4)行動面(Act):即系所檢核學生學習成效後發現之問題,如何進行品質改善與改善之成效,以及針對第一週期系所評鑑結果的持續性品質改善之作法與成果。(高等教育評鑑中心,2013)。

在PDCA四大評鑑向度中,學習成效評估機制乍看之下似乎屬於「檢核」向度,改善機制屬於「行動」向度,然而根據筆者個人對評鑑項目與參考效標之觀察,發現評鑑項目二、四、五參考效標之內涵,與「檢核」、「行動」向度均有所對應(如圖一所示)。

圖一 第二週期系所評鑑「檢核」與「行動」向度與參考效標之對應

在「檢核」向度部分,項目二學習評量以參考效標「2-5教師依據課程所要培育之核心能力,設計學習評量之情形為何?」、「2-6依據教學評鑑結果,協助教師改進教學設計、教材教法與多元學習評量方法之情形為何?」最為相關;而「項目四:學術與專業表現」則針對學生學業與專業表現,亦屬檢核後學生學習成效之展現。在畢業生的學習成效評估機制方面,屬於項目五的參考效標則有「5-2研擬畢業生整體學習成效評估機制之情形為何?」、「5-3自行規劃機制或結合學校之機制,蒐集內部互動關係人、畢業生及企業雇主對學生學習成效意見之情形為何?」。

從「行動」向度來看,係指根據檢核所發現的問題,建立的整體自我改善機制,其中參考效標「5-4根據內部互動關係人、畢業生及企業雇主對學生學習成效意見之分析結果,進行檢討修訂核心能力之設計、課程規劃與設計、教師教學與學習評量,以及學生輔導與學習資源提供之情形為何?」意味著系所必須蒐集分析互動關係人之意見,並據此進行檢討與改善。而效標5-5、5-6則較側重行政管理機制的定期自我改善情形,以及針對第一週期系所評鑑建議的改善狀況。

分析與討論:學生學習成效評估機制探討

學生學習成效評估在國外發展許久,美國的各大高等教育認可機構也十分強調其重要性。根據彭森明(2010)針對美國12所公立大學進行的研究,美國高等教育認可組織要求大學須說明學生學習成效評估的管理層面,每個教學單位(即頒發學位的系所學程)應有自身的學習目標、學習成效評估方式之制定、了解教育目標的達成狀況,以及評估結果的運用。美國大學也因應此要求,多建立了學生學習成效評估的行政機制。學生學習成效之評估乃從系所層級開始落實,系所必須提出評估計畫,說明其欲達到的學生學習成效為何、評估方式,以及運用評估結果促進系所進步的規劃。

多數系所採用總結性課程評量學生的專業知識與核心能力的學習成果,也有許多大學運用標準化測驗檢測學生的核心能力,這些都屬於直接評估的方式。而問卷調查則屬間接評估,例如「全國大學生投入程度調查」(National Survey of Student Engagement)可確認學生進行學習的機會與投入的努力;畢業生流向追蹤調查(Graduate Follow-up Survey)可用於了解學生的表現以及教育在職涯發展上的影響度。系所與校方應蒐集、分析直接評估與間接評估得到的資料與證據,最後依據分析的結果來改進系所與學校的教學,例如課程結構的修改或重新設計、課程內容的修改、修課要求的改變、評估方式的改進、必/選修課程的調整或發展等。

整體而言,評估與蒐集學生學習成效資料之目的在於了解學校與系所的教育效能,而非針對個別學生的表現;同時,學生學習成效的評估是以直接評估為主,間接評估為輔。以PDCA向度的觀點來看學生學習成效評估的機制設計,如圖二所示。

從第二週期系所評鑑之自我評鑑報告  探討學生學習成效機制與改善策略

● 系所多以間接評估為主,直接評估比重低

檢視高等教育評鑑中心設計之評鑑項目與參考效標,可發現在學生學習成效的評估上,其內涵雖同時包含直接評估方式(如參考效標「2-5教師依據課程所要培育之核心能力,設計學習評量之情形為何?」),但整體的機制設計仍頗為側重間接評估方式。例如參考效標「2-6依據教學評鑑結果,協助教師改進教學設計、教材教法與多元學習評量方法之情形為何?」、「5-3自行規劃機制或結合學校之機制,蒐集內部互動關係人、畢業生及企業雇主對學生學習成效意見之情形為何?」、「5-4根據內部互動關係人、畢業生及企業雇主對學生學習成效意見之分析結果,進行檢討修訂……之情形為何?」

為了解各系所學生學習成效評估機制與改善機制的運作,筆者針對「檢核」與「行動」兩大評鑑向度中,與學生學習成效評估及改善機制相關的參考效標,檢視系所的自我評鑑報告,彙整各系所的作法。此五個參考效標分別是2-5、2-6、5-2、5-3、5-4。受到評鑑項目與參考效標設計之影響,在多數的自我評鑑報告中所呈現的學生學習成效評估機制與方式,亦以間接評估為主。

在筆者所檢視的19份自我評鑑報告中,除了表一的例證中有系所完成了「核心能力達成檢視報告」外,僅中華大學企管系依循國際商管學院促進協會(The Association to Advance Collegiate Schools of Business,簡稱AACSB)學習品質保證(Assurance of Learning)之原則建立的核心課程學習成效檢核機制,是採用直接評估的成果。其設計的內涵為:

步驟一:建立教育目標與學生核心能力。步驟二:根據學生核心能力,由各領域……教學群教師規劃相關領域課程,並建立核心能力與課程規劃關聯表。步驟三:由教師、學生代表、校友暨校外委員所組成之課程規劃委員會,……確認步驟二所規劃課程……內容,並提交院校課程規劃委員會。步驟四:教師根據各課程所對應之學生核心能力,建立課程大綱,進行授課,並蒐集教學成效證據。步驟五:教師撰寫學生學習成效檢討報告,並依學生學習成效進行修正。步驟六:依教師檢討報告,回步驟一及步驟二,檢討系所教育目標與學生核心能力,並改進課程規劃與設計。

表一 第二週期系所評鑑學生學習成效評估機制設計舉隅

由各系所的自我評鑑報告來看,學生學習成效的直接評估方式十分多元化,但報告中評估結果與改善機制之間的連結薄弱,或以「教師根據學生學習狀況調整教學內容」簡易說明帶過。受到參考效標之設計的影響,間接評估與改善機制連結最緊密,包含針對在學生進行的期中/期末教學評鑑、學生學習自我評量,以及針對畢業生的種種問卷調查,調查對象包含應屆畢業生、畢業生(校友)、企業雇主、學生家長等。意即,各系所在課程中實施的直接評估之成果用於檢討修訂核心能力之設計、課程規劃與設計、教師教學與學習評量,以及學生輔導與學習資源之情形可能是偏少的。

● 間接評估可能存在的問題

間接評估在了解互動關係人對於系所辦學的看法是非常重要的,例如畢業生對四年大學教育的滿意度、雇主對於畢業生能力的看法,都是系所在調整課程與教學時必須參考的資料。部分系所更要求教師根據教學評鑑結果提出改善計畫。然而對於在學生而言,經由教學評鑑、學生學習狀況自評所得的資訊,是否能精確代表學生學習成效則有待商榷。舉例而言,教授大班級的教師獲得的評量分數往往較低,對自己學習要求較鬆散的學生自評成績可能也偏高,而類似問題也會在其他類型的問卷調查中發生。雖然間接評估可以了解課堂教學品質、學生學習概況、互動關係人對學習成果的看法,亦可藉此激勵教師改善教學品質,但其中參雜了許多主觀認知與期待差異等因素,使得學生學習成效的評估結果並不精確,甚至可能與實際狀況有所落差。也因此,對於受評的教師、系所辦學品質而言,是否客觀適切,也是有待討論的議題。

綜合言之,學生學習成效評估機制是學習品質保證的重要環節,而高等教育評鑑中心也努力在評鑑項目與參考效標上引導大學與系所建立此機制。然而,若學生學習成效評估過於側重間接評估的方式,而較忽略直接評估所得的結果,將使學生學習成效的評估與之後的改善策略,缺乏直接的證據支持而有失焦點

結論與建議:強化直接評估的重要性

學生學習成效評估機制發展迄今,由於近幾年強調證據導向(evidence-based),致使直接評估所得到的學生學習成效資料相當重要,建議未來高等教育評鑑中心再思考直接評估於學生學習成效機制中的角色。然而,對於課程種類繁多的大學系所來說,蒐集所有學生在所有課程的學習成績並進行分析,必將使得教學與行政工作極為繁重。事實上,學生學習成效評估機制之設計也強調下列原則(彭森明,2010):

1.評估必須有效益、有彈性,並應把教師與學生的負擔減到最低。
2.每個系所單位都應定義出最適合自身特性、最重要的學習成果。
3.評估方法應盡量簡化,並與教師、學生息息相關。
4.教師的參與非常重要。

在直接評估方面,可採總結性評量來了解學生是否習得核心或專業能力,可於大四畢業專題、課堂測驗中實施(彭森明,2010)。意即發展完善的評量工具(例如對應某學習目標設計良好的評量尺規),便可在大四的一、二門課程中蒐集到學生於該學習目標上學習狀況之資料。而標準化測驗也可用來檢測學生的閱讀能力、資訊能力或共同基本科目;由外部單位辦理的各項能力檢定、證照考試也可作為某學習目標的檢核方法。若評估結果顯示,學生於某學習目標上的成果差強人意,系所教師便應一同思考,是否在整體課程設計上,此學習目標的教授有所不足?課程內容如何強化?需要增加其他學習資源嗎?此時可結合間接評估的資料,聚焦改善方向,例如:調整修課順序、強化練習,甚至增聘助教、建立線上學習平臺、增加實習課程等。這些過程都需要系所教師一同參與,建立共識,方能將學生學習成效的評估工具、評估機制,以及證據的蒐集、資料的分析、改善策略的決策以高效率效能的方式完成。

世界上沒有一個完美的機制能夠涵括所有的面向與資訊,然而「持續改善」是高等教育品質保證歷程中的最重要精神,期待未來臺灣高等教育的學生學習成效評估機制能更為周全適切,更有助於系所改善策略的發展,嘉惠大學學子。

◎附註

1.根據高等教育評鑑中心公布之評鑑結果網站,筆者檢視了此24所大學屬管理與商業學門且通過系所評鑑之系所網頁。扣除部分系所網頁無法存取自我評鑑報告者,筆者共檢視19份系所自我評鑑報告。

◎參考書目

高等教育評鑑中心(2013)。102年度大學校院通識教育暨第二週期系所評鑑實施計畫。取自http://www.heeact.edu.tw/public/Attachment/292717512518.pdf

彭森明(2010)。美國公立研究型大學學生學習成效評估計畫之實施。評鑑雙月刊,27。取自http://epaper.heeact.edu.tw/archive/2010/09/01/3333.aspx

 列印 |  轉寄好友 |  Top |  回首頁

本期目錄
-本期目錄
單元相關文章