財團法人高等教育評鑑中心基金會  

 

美國WASC對學生學習成效評估之經驗與建議
文/黃淑玲
  高等教育評鑑中心助理研究員

美國西部大學校院認可協會(Western Association of Schools and Colleges, WASC)由三個委員會(commission)組成,分別認證中小學、專科學校與區域大學,以及一般大學校院。一般大學校院認可委員會(Accrediting Commission for Senior Colleges and Universities)執行長Ralph Wolff博士今(2010)年6月來臺造訪高等教育評鑑中心,並於國際研討會中發表〈美國當今的品質保證主流趨勢〉論文,文中強調,評鑑最常與責任績效連結,尤其在國家財政吃緊的時候更是如此。

評估學生學習成效 評鑑組織新課題

Wolff執行長在文中也提到,教育品質的重要指標之一是學生學習成效,而評鑑組織的角色,就是要確認學校是否開設和學位名實相符的學程,進而回應美國教育部要求大學校院的績效責任。因此,評鑑組織的新課題即是評鑑學生學習成效,同時與學校密切合作。

從教育品質保證這個角度切入,筆者(以下簡稱「黃」)針對學生學習成效評估議題,採一對二的方式同時專訪Wolff執行長,與鑽研學生學習成效聞名的美國全國高等教育管理系統中心(the National Center for Higher Education Management Systems, NCHEMS)副執行長Peter Ewell博士。兩位學者從經驗以及評鑑組織的角度,對評估學生學習成效提出看法與建議。

「老師教什麼」→「學生學什麼」 大學評鑑新模式

黃:WASC在美國六個區域性評鑑組織中,在大學校務評鑑的學生學習成效評鑑上相當有成就,緣由何在?

Wolff:1998到2002年間,我得到一筆總數約250萬美元的基金,藉此發展以成效為基準的學生核心校務評鑑模式(outcome-based student learning-centered institutional accreditation model),2001年開始在各校執行。將近十年下來,這個評鑑模式相當成功,而關鍵就在於它激起一股自我改善的動力,改變了學校過往畫地自限,僅求符合評鑑標準的心態。但不可否認,這對評鑑組織和學校雙方都是一段漫長的路,需要耐心經營。藉由這筆基金,我們規劃了工作坊、建立文件資料,幫助受評學校瞭解何謂學生學習成效評估,如何建置評估機制,最終目的是將成效評估融入校園文化中。

另一方面,美國高等教育品質的議題已經走了約25年的時間,但我們走到一個瓶頸;為了脫離,我們開始想要知道「學生學習成效」,以便更深層追蹤大學的教育作為。研究發現,評鑑組織也的確是督促學校瞭解學生學習成效的動力。另外,課程設計的概念有了很大的變革,從過往的老師教什麼,轉變成學生學什麼。WASC開始進行上述這個新的評鑑模式之初,我看到許多極重視研究的一流大學輕忽教學,更別談學生學習成效。對於學生選課,可能就是將課程目錄做個簡略說明,卻缺乏整體性的介紹;上課時也僅把授課大綱快速讀過,教授僅重視自己想教什麼。但進入21世紀,學生需要更多樣化的學習經驗與技能,並對未來有正面的影響。

三階段校務評鑑 達成二核心任務

黃:可否請您就WASC最大的特色-三階段(three-stage process)校務評鑑認可制做個說明。

Wolff:所有接受WASC評鑑的大學,都必須經過三階段評鑑過程,包括「學校申請書」(Institutional Proposal)、「能力與準備訪視」(Capacity and Preparatory Review),以及「教育效度訪視」(Educational Effectiveness Review)。受評學校在每個階段都要向WASC提出該階段的報告,而報告內容則依循WASC評鑑手冊所建議與規範的項目、形式與架構書寫。「學校申請書」必須在第二階段開始前的22至24個月之前寄出,WASC收到此自評申請書後,會在1至6個月內回覆。之後,進入第二階段「能力與準備訪視」,目的在評鑑學校的準備情形,是否建立評量等機制。18至24個月後進入第三階段「教育效度訪視」,實際訪視該校的機制與運作,例如蒐集質化與量化資料以及分析報告,以及利用報告進行改善的狀況為何。而評鑑學校執行學生學習成效的成果,是從整體檢視,看該校的教學規劃執行、總體財務與行政配合等,如此才能真正看出端倪。依照第三階段的評鑑結果不同,WASC給予學校5至8年不等的年限,進行下一週期的三階段評鑑。為了受認證,學校必須在各個階段中達到與評鑑相關的兩個核心任務:

1.學校整體的能力

學校運作具有明確目標、高度整體性(integrity)、財務穩定度、組織架構與業務內容相符。

2.教育效度

學校在學校與系所層級都能具體呈現明確且恰當的目標與設計,並能自我檢視,例如蒐集資料並加以利用,使學位、學習內容、學習者的表現等三者能並駕齊驅。

執行學習成效評估 「事證」為要

黃:有些反對者認為,評估學生學習成效只會造成「評什麼、教什麼」的情形。做為學習評估的支持者,您們如何回應這些反對的聲浪?

Ewell:如果是一個好的評量,為何不支持?針對評估內容改善教學設計,不失為一個好的策略,重點在於需要有一個好的評量、執行策略和方法。

Wolff:從另一個角度切入這個問題,對於一個沒有任何學習成效評估經驗的學校而言,面對評鑑機構的規定,很容易就跳入「評什麼、教什麼」的思維。所以,臺灣的評鑑中心需要多思索該如何呈現學習成效指標給各個受評學校,否則學校很容易為了通過評鑑,就照著規定做,但面對校內教授時,又可能受到莫大阻力與反抗,因為教授們不瞭解這是什麼、如何做,加上沒有獎勵制度又缺乏能做得好的信心,當然沒有人願意嘗試。

就我們WASC的經驗,我們向董事會提報,只要學校能夠呈現出其努力執行(good-faith effort)學生學習成效評估的事證(evidence),五年內我們都不會針對此項目做出類似「待觀察」或「不通過」之類的評鑑結果;換言之,我們站在鼓勵的角度,而不是對於他們本來就不擅長的事情進行懲罰,而且學校也不會因為壓力而做出無意義的對策。問題最終還是回歸到什麼才是適當的學習成效、好的評估方式。對於評鑑組織的課題則是,需要整理出一套Q&A備答,無論面對什麼學校,都能明確且從容。

Ewell:香港的作法是另一個好例子。他們在要求學校執行成效評估的同時,也提供技術協助,並聘請外部人員到各大學察看執行情形,確認評估方向是否失焦。

建立評估機制 從檢視現有資源開始

黃:所以對於想要建制學生學習成效評估機制的學校,兩位有何實務性的建議?

Ewell:我會建議學校先理出一份清單(inventory),檢視校內現有資源後,才開始檢討需要什麼、應增加什麼,又該如何進行。以香港為例,他們的七所大學各有特色,雖不用「學生學習成效評估」(student learning outcome)這個名詞,但做的是類似的事。他們邀請外部的訪視者進行全面性總體檢,做成一份完整的報告後,學校可清楚瞭解自己的強、弱項各在哪裡,然後針對報告的建議事項著手改進。

Wolff:另外,香港以及其他國家曾共同簽署華盛頓協定(Washington Accord),而這些簽署國的大學也受美國工程與科技認證協會(Accreditation Board for Engineering and Technology, ABET)的認證。由於ABET明確要求工學院的大學生核心能力,所以我相信受認證的學校內部應已聘請一些瞭解學習成效的專家,並有制訂學生核心能力的經驗。所以要理出一份清單,知道校內有了什麼、還缺什麼;另也要瞭解校內究竟蒐集那些與學生學習相關的佐證資料。

Ewell:教育學院、醫療相關學系也都是尋求人力的好地方。

由上而下支援領導 由下而上執行不悖

黃:所以要執行成效評估,在行政程序上應該是由上而下(top-down),或者由下而上(bottom-up)呢?或者應該問,有沒有一個上與下之間的連結點,讓成效評估更順暢?

Ewell:我想,學校最終還是要能找出一個會問好問題,而不是一個僅會下行政命令的領導者去執行這項任務,通常由上而下的部分是由最主要的學術主管擔任,例如院長;至於由下而上的部分,由於實際執行學習成效評估是各個系所學程的教授們,所以需要在他們中間選出幾位備受推崇的代表,並且對教與學真心投入,也願意跟著學校執行此項任務,組成工作小組後,在系上帶頭試行。接下來更實際的,則是要有人員輪替的準備。如果主導者真的需要休息,甚至離開職務,那麼此工作小組也需要事先規劃人選如何接替的先後順序,讓工作得以進行不悖。總而言之,上下之間應彼此配合,且要出於自願,畢竟大學是個充滿學術自主的地方,誰也不能管制誰,更無法強迫。

Wolff:我的看法是,臺灣的評鑑中心執行學生學習成效評估不是個選項,而是個既定的事實,這即是由上而下的部分,但這也恰好是與各校合作的好機會,藉此與各校的學術副校長或其他具行政領導職務的教授們展開對話,進一步溝通執行的時間流程與執行期待,並藉此說明評鑑機構對學校、教授的輔助資源在那裡。

正因為執行學習成效評估需要克服很高的學習曲線(learning curve),正如剛剛Ewell所言,校園內的確需要一位在成效評估上的奪標者(意指備受尊崇的人)做為推手,而且這個人不能僅是一個在行政體系中較底層的行政人員,而是個重量級的人。例如,之前我曾到臺灣參訪某所重點大學的教師資源中心,該中心人員就明白表示,無論再怎麼努力,就是無法得到教授們的回應。所以,有實際執教且具份量的教授一旦願意開始做,即可與其他老師展開對話,討論實際執行的情形是怎麼一回事,並讓專業輔助人員幫助老師瞭解為什麼做成效評估、什麼時候做、做什麼、如何做;則最終各校都能發展出自己的一套評估計畫。所以執行學習成效評估,實際執行面是由下而上,但也要有由上而下的壓力,才能有效率推動,例如透過院長級或更高層級的學術行政人員積極參與,實際的執行者將更有明確的目標。

黃:兩位所言印證我訪問華盛頓大學教育評量中心(Office of Educational Assessment)有關學生學習成效評估工作小組的實務經驗:除了有人力,更需要明確的工作目標,以及支持這項任務的領導者。例如該中心主任非常支持這項工作之外,也瞭解在學術自由與教授自主的大學氛圍中,他們並沒有任何行政權力要求系所單位主動配合。所以,只有激起教授們對於「學生究竟學了什麼」這件事產生好奇心和尋找答案的動力,並主動提供專業諮詢協助各系訂定學生核心能力與課程地圖,才能得到各系的支持,完成評量規劃、蒐集資料與分析,最後才能完成評鑑組織的要求。所以,推動學生學習成效評估這項工作不僅是需要由上而下的行政支援,更需要由下而上配合執行評量工作。

訂定核心能力 宜考量學生素質差異

黃:而談到學習成效,就得提到核心能力。校際間的核心能力會一樣嗎?尤其美國的高教體系中,研究型與教學型大學的定位與區隔是很明確的。

Ewell:大學生有一些共通的核心能力是一致的,例如溝通、思辯、解決問題的能力等。但是不同的大學如何界定這些能力、在什麼情境之下運用,則未必相同。

Wolff:我認為真正的問題是在菁英大學與第二或第三級大學之間,核心能力是否會一樣或需要一樣,必須考慮學生素質的差異。大部分人會期待在一流大學,學生習得的核心能力程度應比一般大學來得高。我以加州大學洛杉磯校區(UCLA)為例,他們認為校內一百多個學系,大學生在核心能力上必須要有共同的項目,並藉由課程實作(capstone projects)的機會讓學生都學到這些共通的能力;而柏克萊加州大學(UC-Berkeley)則認為研究力是學生的核心能力。因此研究型大學通常會在一般型大學的學生核心能力之外,加入一些該校特有的元素(例如研究力)。

善用自身資源與環境 展現學習成效

黃:WASC是用同一套評鑑矩陣(rubric),即教育效度架構(educational effectiveness framework)來評鑑區域內的各所大學。WASC如何說服史丹佛大學,願意接受與其他學校使用同一套評鑑矩陣的標準?

Wolff:我們的確經常接到來自這些所謂一流學府的挑戰。他們認為WASC用同一套標準來評鑑不同等級的學校,簡直是有失公允。但我總是這麼回答:每個學校都有自己特殊的情境與條件,所以,當兩個不同等級的學校(例如一個教學型大學與一個研究型大學)同時通過評鑑,並不代表這個教學型大學等同於柏克萊或史丹佛大學,真正的重點在於每個學校都要在自身的條件、資源與環境中做到盡善盡美,才能十足地表現出學習、教學與學校組織三個面向的教育效度。倒是我們必須思考什麼才是適當程度的學習成效,這也是WASC面對大學時的挑戰。例如如何界定什麼才是好的思辯力,我們仍無法明確回答。

◎後記

感謝兩位學者同意受訪,並提供寶貴意見。作者將於今年9月下旬參加WASC所舉辦之學生學習成效評估研習課程(Student Learning Outcome Assessment Retreat),想要瞭解更多資訊的大學教師或行政工作者,歡迎直接與作者聯繫。

◎參考文獻

Accrediting Commission for Senior Colleges and Universities, Western Association of Schools and Colleges. (2008). Handbook of Accreditation 2008. Retrieved July 23, 2010, from http://www.wascsenior.org/findit/files/forms/Handbook_of_Accreditation_2008_with_hyperlinks.pdf

 列印 |  |  Top |  回首頁

本期目錄
-本期目錄
單元相關文章