財團法人高等教育評鑑中心基金會  

 

以學生學習成效評估為核心的系所評鑑-以加州二大學為例
文/黃淑玲
  高等教育評鑑中心助理研究員

系所評鑑是週期性的評量活動,藉由自我檢視與外部評鑑雙軌程序,確保教育品質。美國執行大學評鑑雖已超過百年,系所評鑑事實上來自於(Barak & Sweeney, 1995):1.「學程」概念的發展;2.「認證」的產生;3.「教育評量」(educational evaluation)專業化;4.「績效責任」的興起;以及5.高等教育管理方式漸臻成熟。

系所評鑑內涵跟著社會脈動走

換言之,系所評鑑是學術情境與時代背景的組合:時代環境不同,績效責任的詮釋也就不同,系所評鑑的重點亦跟著改變,而認證內涵也就跟著異動。我國系所評鑑的基調從第一週期的教師本位,走向第二週期的學生本位即是一例。

至於美國大學系所評鑑的情況,亦是朝向以學生學習成效評估為核心。本文首先介紹舊金山州立大學(San Francisco State University,以下簡稱舊金山州大),其系所自評以五年為一週期,2010年已經進入第六週期,故在執行系所評鑑上已相當機構化;該校每週期都會出版一本全校性的系所自評手冊,指導各系如何執行自評與撰寫報告。隨著每週期的自評重點不同,手冊的內容也會作適度調整,可說是系所評鑑跟隨社會脈動之最佳實例。今(2011)年3月,該校將接受美國西部大學校院認可協會的大學校院認可委員會(Western Association of Schools and Colleges,簡稱WASC)之教育效能訪視,故該校各系的系所自評幾乎全數上網公告以便評鑑之用,以昭公信。

系主任是系所評鑑的核心

由於師、生是系所之主要成員,故WASC在學系訪視(academic program review)之評鑑準則的最佳實務中,即具體建議系所評鑑應由教師主導,並以教師能善用評鑑結果為依歸,才能落實系所評鑑。自評的目的是在協助系所規劃、決策、再次檢視系所目標、資源分配以及財務規劃之效能與合理性。

系所評鑑結果與該系之主任(或該系所最高行政主管)息息相關,因為系主任具多重角色,是掌舵者、領航者,也是精神支柱:系主任除了確認整個自評、訪視或評鑑等各項專業評量的前端、過程與後置作業都確實執行外,更需要不斷地為工作量大增的教師、職員加油打氣,並鼓勵學生積極參與;同時,也要在評量活動的現場擔任第一線工作,向訪視人員提供必要資料,或提出解釋或說明。

建立系所自評機制

學校成立學術評量諮詢委員會

該校之學術議會(Academic Senate,似我國之校務會議)是最高行政組織,並於1999年就已明訂學生學習成效是該校系所訪視的評量重點。學術議會建立校級學術評量諮詢委員會(University Academic Assessment Advisory Committee),以作為全校學術性的溝通橋樑、提供學術相關的建議,或評量規劃等。此諮詢委員會至少每學期開會一次,成員包括該校九個學院之各院代表、圖書館代表、學務代表、課程委員會代表、通識教育代表,以及研究學院代表(即統籌所有研究所之核心行政單位),權責包含:

1.向教務處(Office of Academic Affairs)建議評量重點、評量實務,並提供評量相關活動之協助,例如了解大學的課程、課外活動之表現;2.向學術議會建議評量重點、活動與政策;3.對教師或校內社群提供學術評量建議的管道,並建議各項問卷統計結果(如學生學習成效評估)如何公布;4.推廣正確使用相關的、精確的且有用的資料,作為決策基礎;5.提供建立資料庫與公布資料分析結果,以利系所自評與評鑑之用;6.向學術議會作年度報告。

有趣的是,該校的教務規劃與教育效能(Academic Planning and Educational Effectiveness)副校長Linda Buckley博士於2010年9月接受筆者的實地採訪中指出,此評量諮詢委員會事實上是學術議會刻意設立的一個折衝機制,旨在避免學校對教師過度施壓,強力執行學生學習成效評估;或者,萬一某系所之成效評估結果不如預期時,也可透過此委員會降低該系所被凍結補助的情形發生。不過,大環境對於以學習成效為績效責任之表現的氣氛已然形成,所以各系也深知抗拒無效。再者,工學院長久以來一直接受ABET的專業評鑑,故對學生核心能力之界定與成效評估早已施行多年,影響所及,有愈來愈多系所向工學院看齊,所以學習成效的觀念也因學門相互仿效而較容易推廣。

各系所建立完整的評量循環計畫

不可否認,各系因學門特性不同,執行系所自評的方式、過程與資料蒐集的速度各異。大致上,各系都已建立一套完整的評量循環計畫,從施測、擷取資料庫中的資料、資料分析,並根據分析結果進行改善等不一而足。由於各系所執行學生學習成效評估的經驗深淺不同,副校長Buckley博士提及必須先讓系所了解何謂評估(assessment),然後進一步了解何謂學生學習成效,最後才是學生學習成效評估。

因此,Buckley博士多鼓勵那些執行經驗豐富、學習成效穩定的系所,針對特定的核心能力進行小型研究(mini studies),18個月後呈交研究結果;對於經驗不足的系所,學術評量諮詢委員則鼓勵先從提報該年度之評量活動做起。每個系所都可獨立規劃一套與該系之教與學充分結合的評估策略,但至少需要有一種直接評量成效結果的方式,並與其他間接評量方式結合。評量的策略與方法包含:課程實作、案例研究、內容分析(content analysis)(如寫作、書面報告、實習之評量)、系所考試或為特定之學習成效所設計的申論題、焦點座談、訪談、評量尺規、作業或課程大綱、學習歷程檔案、標準考試、專案研究等各種評量方法。

評估學生學習成效 學習目標媒合開課學科與評量實務

依照舊金山州大第六週期所出版的系所自評手冊(Academic Program Review Handbook),各系自評報告內容分為三大類:

1.「系所總覽」:說明系所簡史、摘要系所上一期改善建議,與系所介紹;2.「系所學程符合本校指標與標準」:敘述招生標準、系所課程標準、師資;3.「系所學程符合所屬學程標準」:說明系所規劃、學生經驗、學程與社群、教師經驗、系所資源與外部評鑑。學生經驗包含學生學習成效評量。

其中,學生學習成效之評估特別值得國內各校參考。由於各學門知識產出和應用的方式不同,所以每個系所都須找出最符合學門特色的學生學習成效評估方式。以下就化學暨生化系(Department of Chemistry and Biochemistry)為例,針對該系如何將評量學生學習成效,作為系所自評之焦點。在自評報告中先規範其第六週期之自評旨在:1.完成大學部之學習目標(learning objectives,即學生核心能力);2.針對第四項學習目標(參表一)說明學生對於記憶性科目的知識存留率,和將基礎化學知識應用於進階科目中的情形。自評報告詳述評量方式與結果,與學生學習成長的程度;3.檢視各科目之低標由C-改為C之合理性。

表一說明該系九個學習目標(即核心能力)、涵蓋各個目標的科目,以及評量學生的學習是否達到目標的評量方法。表中可看出,該系教師對於如何評量學生是否得到進階科目中的學習目標,尚未達成共識。不過,換個角度,自評的目的也是在呈現系所教、學的現況,不但有利系內師生了解,更有助於院或校對該系提供具體、有針對性的協助,以利品質改善。

表一 學習目標媒合開課學科與評量實務範例—舊金山州大化學暨生化系

評量學生還記得多少大一、大二的初階知識

由於基礎化學與進階化學課程中間間隔二年以上的時間,所以測試了解學生記憶基礎的化學知識之存留率,並能有效應用於進階課程變得很重要。為了解學生是否達到上述第四項學習目標,該系採用美國化學協會(American Chemical Society,簡稱ACS)的標準考試題庫,從中抽取十題作為CHEM115、CHEM215兩科2006年春季班之期末考試試題。這十個題目所測試的化學知識都是未來CHEM300、CHEM301所需的基礎知識。考試當場測驗完畢後,考卷一律回收,所以沒有題目外流的問題。

隔了二年以上,學生開始修習進階課程。教師將抽取上述十題中之數題,於教授CHEM300、CHEM301之學期初與學期末進行測試。原則上,教師預設同學應該不會記得考題與答案,僅有掌握化學知識的原理才能作答。教師於學期初施測,可了解學生還記得多少先前的基礎化學知識,基礎知識的存留率由此而知;在學期末施測,可知道學生應用基礎化學知識,並融合於進階課程的情形。三屆學生歷經此種施測方式,以了解學習成效與施測方式是否有效變化。由此而知,了解學生學習成效,蒐集成效結果需要多年。單一科目或單年所得的資料,並不能真正呈現該系學生學習成效的完整面貌。

層層負責的人事機制

系所評鑑雖然是在系所的層次,但評鑑機制的設立、執行仍屬於全校性的活動,資源與行政運作需要全校性的規劃,上下整合、層層負責。加州的另一所大學–查理.筑醫學暨科學大學(Charles Drew University of Medicine and Science,簡稱CDUMS)之系所評鑑手冊詳述該校各單位之行政權責與業務規劃,以下列出以供我國各校參考:

一、學程系所主任與教師

1.發展學程系所宗旨與目標;2.將上述目標和學科的學習目標,與學習成效和校級學習成效做連結;3.選擇並發展評量策略;4.發展評估學生表現的指標,並評量每個有涵蓋到的學習目標(objectives);5.蒐集、存留、分析每門已經授課的科目的資料;6.實際執行改善,並加以記錄;7.完成年度學術評量(academic assessment)報告,內容包括改善計畫;8.進行年度課程自評,以及全學程/系所報告;9.表現該校級和學程要求,與專業評鑑標準吻合;10.準備並參加定期的外部系所評鑑(外部同儕訪視);11.提供課程評量、同儕評量、教師自評三項回饋給教師。

二、院長

1.監督各系所/學程之課程,並確定其依規劃授課;確認學程完成自評報告與審閱程序;2.提供年度報告,總結院內各系學術評量與自評報告,說明該院教育現況;3.將下列資料留檔存查:學生學習成效評估的結果、系所學程自評報告、外部系所學程訪視報告,以及外部的定期/專業評鑑報告與回應;4.管理課程評量、同儕評量與教授自評的執行過程;5.準備並參加定期的外部系所評鑑(外部同儕訪視);6.與他校策略聯盟或合作時,準備所有必備的文件資料,並保存合作後所產生的相關檔案。

三、委員會(此依照各校現況設置,自行調整)

1.根據評鑑組織、校與院級之標準,檢核課程設計、教育政策與過程;2.提供評鑑準備過程所需之協助。

此委員會之實際業務內容, 可進一步比照上述舊金山州大的學術評量諮詢委員會(Academic Assessment Advisory Committee)之權責。

四、學術議會(Academic Senate)

1.裁奪校級所有與教育相關之政策;2.審閱院級之年度報告,並提出建議;3.依步驟確認系所學程與設校宗旨吻合;4.參與校級財務會議之審查,並依照系所學程審查進行最適當之裁決。

五、行政體系

1.提供數據或資料以利自評與定期的系所評鑑(外部同儕訪視)。數據、資料包括各系所學程之財務狀況,和基本的教育相關資料(如學生基本資料、招生、學生存留率等);2.存留各種核備後的表格(以及填寫指南);3.安排評鑑時間和流程,以及各項相關準備工作,如安排外部評鑑人員與系、院、校級等相關人員晤談等;4.存留各項檔案備查,如學生學習成效評估的結果、系所學程自評報告、外部系所學程訪視報告,以及外部的定期/專業評鑑報告與回應;5.準備校級年度報告,總結該校之教育現況;6.與各院院長密切合作,確保各項訪視皆配有必要的資源支持。

系所學生學習成效評鑑之評量尺規

整體而言,校內總管系所評鑑的單位,如舊金山州立大學的校級評鑑諮詢委員會,如何判斷校內各系將學生學習成效評估融入系所評鑑的程度如何?在此,加州所屬的區域性評鑑組織WASC,就此提供評量尺規(如表二所示)作為評鑑之參考依據。而各系也可善用此表自我檢視,以了解系內將學生學習成效融入週期性的系所自評等相關活動之發展程度,與執行成果。

表二 WASC建議融合學生學習評量於系所自評中之尺規

權責分明 軟性折衝 值得參考

最後,沒有所謂最好的單一系所自評模式,系所評鑑僅是手段,提升教育品質,讓知識在教與學的過程中得以往下縱深、向前推進才是最終目的;實務上,經過各行政層級充分討論後,可接受、可掌握、能執行、可管理,並能永續經營,才是最高原則。其中,舊金山州立大學設置校級學術評量諮詢委員會作為系所評鑑的折衝機制是可供學習的概念,因為評鑑結果的運用很容易與其他獎懲機制結合,或說,獎懲是目的、評鑑是手段,故容易造成受評者的心理壓力與對評鑑的排斥。緩衝的設置,可緩和受評者的壓力感與對評鑑的不信任。技術上,人力、資源、財務、硬體與科技資源相互配置,校內各層級層層負責,舊金山州大權責劃分明確,可供各校在任務分派與管理時之參考。

◎參考文獻

Barak, R. J. & Sweeney, J. D. (1995). Academic program review in planning, budgeting, and assessment. In R. J. Barak & L. A. Mets (Eds.), Using academic program review. New directions for institutional research, No. 86 , (pp. 3-17). San Francisco: Jossey-Bass.

Bassoppo-Moyo, S. (2003). The relationship between department chairs and academic program review. Academic Leadership, 1 (2). Retrieved from http://www.academicleadership.org/article/The_Relationship_between_Department_Chairs

Department of Chemistry and Biochemistry, San Francisco State University. (2010). Department of chemistry and biochemistry assessment report 2007-2008. Retrieved from http://air.sfsu.edu/docs/assessment/Science%20and%20Engineering/Chemistry/Chemistry%20&%20Biochemistry%20Assessment%20Report%202007-2008.pdf

The Institutional Research Office, Charles R. Drew University of Medicine and Science. (2009). Academic program assessment (learning outcomes). Retrieved from http://www.cdrewu.edu/assets/pdfs/AcademicProgramReviewHandbook.pdf

The Academic Senate, San Francisco State University. (1999). Policy to establish the university academic assessment advisory committee. Retrieved from http://www.sfsu.edu/~senate/documents/policies/S99-206.html

Western Association of Senior Colleges. (2009). WASC resource guide for ‘good practices’ in academic program review. Retrieved from http://www.wascsenior.org/findit/files/forms/WASC_Program_Review_Resource_Guide_Sept_2009.pdf

 列印 |  轉寄好友 |  Top |  回首頁

本期目錄
-本期目錄
單元相關文章