財團法人高等教育評鑑中心基金會  

 

學習成效為核心的系所自我評鑑
文/黃淑玲
  高雄醫學大學人文與藝術教育中心助理教授

系所評鑑(program review)目的不同,因此執行的作法與評鑑結果的運用各國不同、各校不一。執行目的多屬系所自我檢視教育品質與效度、建構大學績效責任;另一方面,大學自我檢視組織效度時,也經常以系所評鑑作為資源分配、系所整併的策略工具,以促進大學組織運作的效度(Nelson & Nicholas, 2013),取得治校成本、教育價值、大學聲望三者間的平衡。

另一方面,學生學習成效是高等教育評鑑的重要指標。因此成效為本的系所評鑑(outcomes-based academic and co-curricular program review)成為行政體系的要務,以達成「創造一個承諾品質保證、組織學習與後續改善的大學組織」,保證學生學習品質(黃淑玲,2013,p.42)。

實施自評:目的與手段充分連結

大學進行自我評鑑時,主負責單位必須釐清幾項工作重點。圖一的流程圖說明每個工作階段的工作重點:

● 第一階段
首先定義應受評的單位為何?由於教師、經費都在系、所之內,因此系所內常開設學分班、證照班、學位學程班等次領域班制。系所評鑑的自評報告需要提據相關統計資料,例如教師數、學生數、經費預算等。如果開設班級與某系、所的資料重複,則無需獨立受評。為求統計數據的準確,受評單位應與院(如院長室)、校級資料(如教務處註冊組)等單位比對統計數據。通常,具有授予學位權的「單位」,為系所評鑑中主要的受評單位。值得注意的是,證照班是否列入系所評鑑受評單位則需要思考系所評鑑目的,方能決定是否納入獨立受評。

● 第二階段
工作重點在定義與標準規劃。核心工作是界定何謂「品質」,以及確立品質認定的標準。然後決定需要蒐集哪些資料,以及工作流程。除了考慮傳統的聲望,或畢業生表現之外,定義「品質」應考慮下列四項因素(Nelson & Nicholas,2013)與相關評鑑指標:

1.系所任務與目標:受評單位應提出相對應的組織特色或策略,以展現順利達成任務目標的可能。這些策略可包含服務學習、海外修讀、跨國合作、就業輔助等。

2.建立內、外部品保機制,以及落實後續改善與規劃:傳統上,評鑑組織、同儕互評都是重要的品保機制,因此系所是否回應先前的評鑑報告之改善建議的相關檔案紀錄以及後續規劃,都是重要的品質指標之一。同時,受評單位亦須在自評報告中說明接受外部評鑑認可的時程,以及達成改善或規劃的具體策略和步驟。

3.學生、教師以及系所整體等之成績、績效表現:受評系所皆有展現優勢的機會,且需要質、量化證據並陳。評鑑者方能辨識受評單位的弱點,並提供具體可行的改善建議。由於個人或組織的績優未必等同於社會貢獻度,因此,所謂「績效表現」向來備受爭議。不過,一個以改善為核心價值的系所自我評鑑,受評者應能客觀呈現各類相關資料,使評鑑者能掌握受評者的弱點,並提出務實的改善策略。表一整理比較評鑑認可角色不同,受評者展現出的自評角度也隨之改變。

表一 評鑑的角色

學生成績的數據資料可包含統計畢業生從畢業到穩定就業的時間長度與就業率、研究所升學率。若以研究為使命的大學,更該質性說明學系提供研究訓練的規劃與安排。同時,若是專業證照型系所,亦該提供該系國考證照數與全國平均之比較。

總體言之,評估系所教師績效,首先要考量校的定位與教育宗旨。如果教師所屬的大學強調多元、社會性服務,那麼教師的教學研究服務等績效表現應該與此核心價值充分整合,才能使該校整體的價值落實於教育過程;而落實的過程更是大學威望的來源。

在系所層級,必須先考量該系所招攬與留任優質教師的策略方案;而呈現大學教師的教學、研究與服務等績效表現,更需要在所屬大學之整體聲望與品質的框架下進行總體考量。主因是大學聲望奠定於系、所在其相關領域的全國競爭力。因此,能促進大學聲譽的任何指標,都該納入評估教師教、研、服三方面之品質與績效的範圍。至於教師的服務面向也是多元而複雜。如果系所的學生數不多,則應更進一步檢視教師在執行校內跨系所支援、校際合作、與社群團體合作或策略聯盟等努力。

4.系所的長程發展與規劃,並與上述1之融合度:提出增進品質的行動方案,作為卓越的承諾。規劃的合理性來自可行性之外,更在於符合校教育目標與宗旨的統整性。

● 第三階段:建立共識與跨單位溝通
社會觀感與驅動力是順利推動系所自評的關鍵因素。國內常常將大學評鑑視為大學排名,或是大學退場機制;系所評鑑也經常被視為關閉系所的策略工具。因此,具體說明自評目的,方能取信於受評單位,也才能成功鼓勵系所成員的積極參與、自我診斷。同儕互信、積極參與是推動自評的成功關鍵。

再者,合理可行、考量周全的自評時間表是順利推動自評的另一項因素。受評單位在自評的同時,可能有學術領域相關的活動並行。於規劃階段較務實的作法,是於規劃工作進度的甘特圖中,若列入將(已)同時進行的其他工作項目,即能務實評估自評工作進度是否合理。

● 第四階段:資料蒐集,建立標竿成效
資料種類多元,因此應以符合領域知識需求下的核心能力為主要的設計概念,進行學生學習成效的資料蒐集。在課程層次,學習成效資料來源的書面型態可包含:(1)案例分析;(2)心得報告;(3)研究分析報告;(4)(政策)白皮書;(5)短文;(6)解決方案計畫書;(7)顧客分析報告。而實作類型可包含:(1)技術報告;(2)專題研究;(3)求職信;(4)報告海報、展示作品、展演;(5)公開發行之文宣、廣告;(6)辯論;(7)同儕教學。

系所評鑑學生學習成效,規模龐大、類別複雜,遠大於單一課程,屬總結性評估。因此系統性的執行學習成效評鑑除了受評系所的規劃與時程安排之外,更需要結合校級資訊系統,並以能執行有效撈取、追蹤、分析學生學習資料等功能者為上選。許多大學有學生電子學習歷程系統(E-portfolio)提供學生上載個人學生作業、成品,但它缺乏分析的核心功能,因此是資料庫,並非學習成效分析的系統。

最後,資訊系統本身不是目的,而是建立學習成效的標竿。如果歷經多年的系統性資料蒐集與分析,不僅看見學生的學習成長趨勢,更能了解學習門檻,對於未來以提升學習成效為目標的課程改革將有莫大助益。

● 第五階段:檢閱成效,專業、同儕精神方能落實品質保證
歷經上述各階段,開始進行實際的系所實地訪評。校內自評的評鑑成員,宜多元並具有代表性,且公正、客觀、專業三者兼備。因此教師、校務資料庫專業人員、學生代表等都是最佳成員人選;評鑑的專業態度、技能與執行力,皆可透過校內自行研發的培訓課程進行評鑑人才培育。受評系所的強、弱、優、缺也可因為成員的多元性而得到更宏觀的回饋建議,達到自我改善的目的。因此在執行自評前的共識會議中,宣示以求精進而非競賽或縮編為宗旨,即顯得格外重要。

評鑑結果可以依照類別劃分,受評系所針對「有條件通過」或「未通過」的項目進行回覆,並提出改善的行動方案。下一輪的自評則以前一期系所自提的改善方案為評鑑基礎。以「通過」、「有條件通過」、「未通過」三個類別為例,分別包含下列特徵:

1.自評資料充分、完整。
2.品質之優劣良窳,進而提升校譽之潛(可)能。
3.維持穩定發展與成長,而且規劃合理得宜。
4.追求卓越的策略目標與行動方案具體可行。

評鑑結果的類別內涵愈明確,評鑑委員彼此較容易意見一致,減少評鑑判定的灰色地帶,增加評鑑結果的威信(credibility);另一方面,表現欠佳的系所,例如招生率低落、沒有追求發展或卓越的行動方案,即能清楚辨別是否應被歸類於「待觀察」。在校級資源分配與重整時,這些自評結果自然成為系所資源分配的重要參考。因此自評團隊的專業、公正、客觀、信譽成為順利推動校內自評的基石。

附帶一提,自評經驗的累積與傳承對於大學組織意義深遠。一則,人員會調職、離職、退休,學生代表會畢業離校,知識留存,可省去重新摸索;二則,評鑑實務知能也需要不斷演練、修正與累積。新加入者可以見習觀摩,累積經驗後,接下來透過隨影(shadowing)方式,讓相對資淺者執行評鑑,而有經驗者則在旁技巧性地輔助引導,以利傳承。

● 第六階段:資源整合,有效運用校級資源
上述第五階段提及自評結果可作為校資源分配與整合的重要參考。重要的是,一個系所是否因為自評而走向整併、關閉,並非評鑑團隊的主觀認定,而是受評者透過自評過程,進行自我認識與發現。

自評的積極意義是,系所可藉此進行資源與運用的盤點。自評結果的類別有別之外,結果也可劃分為「即時回應」、「中程規劃」、「長程發展」等類別。所以,萬一有非尋常的嚴重情勢者,可透過行政流程建議整併或關閉;若是因為資源短缺,造成運作不良等情形,所屬行政主管也方能藉由事證,進一步要求適當、合理的支援與資源。若涉及校級制度規劃影響受評系所之損、益,則更能促進大學自我學習成長,改善或提升現狀。

報告對象明確  自評不失焦

如前所述,系所評鑑的目的與手段不一,因此撰寫自評報告時應先確認閱讀此報告的對象,方能使報告撰寫更聚焦,準確傳達系所評鑑結果,貫徹評鑑背後的目的。表二總覽閱讀評鑑報告為誰而寫(誰?)、評鑑報告撰寫焦點(需要知道什麼?),以及執行系所評鑑之目的(目的何在?)。

 表二 評鑑報告撰寫對象、目的對照表

表二是建議案例,提供學校進行自我評鑑工作之前,先釐清自評目的;撰寫自評報告時,寫作目的、風格、評鑑發現與建議等內容,應更具針對性。

創造學習型組織  卓越是承諾不是狀態

因為外部評鑑之需,我國各校建立品質保證機制已經蔚為風氣。最終,機制僅是品質保證的手段,轉化大學校園成為學習型組織才是目的。系所了解社會在人才培育上的需求,並整合校、系人才培育的教育目標和使命;教師的教學、研究、服務在個人成長與提升學生專業水準的脈絡下,都應納入成為大學品質的範圍中。因此系所的課程規劃、學生學習輔導、系院校的課外活動都應以優化學生學習經驗、保證學習品質為設計目標。學習成效評估項目應以是否達成系核心能力、彰顯教育目標為學習成效評鑑的核心

引用美國西部校院認可協會大學校院審議委員會(Western Association of Schools and Colleges - Senior College and University Commission,簡稱WASC Senior),分析受評大學進行自我評鑑的演進歷程。表一「評鑑的角色」即說明此歷程啟始於大學符合評鑑標準(compliance),進而持續改善(improvement-centered),最後達到品質保證/績效責任(accountability-centered)的評鑑。

高等教育是社會公器,展現品質是對納稅義務人負責的表現,彰顯公益,遠遠超越排名競賽的工具性意義。因此,大學系所應透過評鑑,不斷自我診斷、自我超越,力行卓越的承諾。

◎參考文獻

黃淑玲(2013)。關鍵時刻的校務研究與評鑑新貌評鑑雙月刊,45,39-43。

黃淑玲(譯)(2013)。新手也能上手的學習成效評估(原作者:B. E. Walvoord, & T. W. Banta)(145頁)。臺北:高等教育文化事業有限公司。

Nelson, K. A., & Nicholas, M. C. (2013). Universitywide program review: Evolving a process for program improvement and institutional planning. AIR Professional File, 128 , 1-19.

WASC Senior. (2013). 2013 Handbook of accreditation. Alameda, CA: WASC Senior College and University Commission.

 列印 |  轉寄好友 |  Top |  回首頁

本期目錄
-本期目錄
單元相關文章