財團法人高等教育評鑑中心基金會  

 

醫學院如何確保教學品質以通過評鑑
文/劉克明
  高雄醫學大學醫學系教授
  醫學院評鑑委員會委員

在前數期的《高雄醫學大學e快報》中,筆者依序探討歐洲的愛爾蘭皇家外科學院醫學院,經過校外評鑑訪視委員依據世界醫學教育聯盟(World Federation for Medical Education,簡稱WFME)全球醫學教育評鑑準則(WFME Global Standards)所進行的評鑑(劉克明,2013年3月);以及加拿大亞伯特大學(University of Alberta)醫學院接受由美國醫學教育評鑑委員會(Liaison Committee on Medical Education,簡稱 LCME)與加拿大醫學院評鑑委員會(Committee on Accreditation of Canadian Medical Schools,簡稱CACMS)聯合組成的評鑑委員團隊,依據LCME準則(LCME Standards)所進行的訪視評鑑(劉克明,2013年5月)。筆者在文章中,探討評鑑未通過之主要原因及如何進行改革等。接續,本文將探討兩所美國醫學院的評鑑情形,包括一所醫學院未通過LCME評鑑的原因,以及另一所如何在平時就進行教學品質確保的策略與作法,以準備LCME的評鑑。

美國紐約上城醫學大學 LCME評鑑未獲通過

美國紐約Syracuse.com發行的The Post-Standard,於2012年3月6日刊登一篇Dr. James T. Mulder撰寫的文章,題目為「評鑑團隊在上城醫學大學發現反覆無常的學習環境」(Accreditation group finds erratic learning environment at Upstate Medical School)。該篇文章報導,LCME於2011年3月訪視評鑑紐約上城醫學大學(State University of New York Upstate Medical University),進行醫學教育學程的評估,發現一些明顯的問題,評鑑結果為「待觀察」(probation)(Mulder, 2013)。這些明顯的問題敘述如下:

● 缺乏中央權責單位及負責人
訪視時,LCME訪視團隊委員原本對該校醫學系一年級學生全部都參與社區服務留下良好印象,但遺憾的是在訪視過程中,卻發現該校正在緊急處理超過100名高年級醫學生所涉入的考試作弊醜聞,致使對該校的觀感大受影響。

LCME的訪視評鑑報告共計192頁,其中提到上城醫學大學的學習環境,有些表現很不錯,但有些部分則令人擔心。評鑑結果共有15項未符合LCME評鑑準則的標準。這些問題如果在兩年之內無法解決,該校將失去評鑑認可(accredited status),其畢業生不僅無法獲得醫學士學位,也不能參加「美國醫師執照考試」(United States Medical Licensing Examination,簡稱USMLE)。該校雖曾提出申訴,但LCME最後仍堅持給予該校「待觀察」的決定。

訪視評鑑報告中, 提到該校醫學院課程經常改變,學生們的抱怨無人理會,而且醫學院院長是紙老虎。該校畢業生在美國醫學院學會(Association of American Medical Colleges, AAMC)的畢業生問卷調查(Graduate Questionnaire,簡稱GQ)中,針對性別、種族或性傾向的歧視與虐待等問題,對學校處理方式的抱怨比率,超過美國全國醫學院畢業生平均的抱怨比率。在與學生訪談時,學生們提及他們曾一再重複表達他們面臨的最嚴重問題,然而學校沒有一個權責單位或主管願意去解決他們擔心的問題。同樣的反應,教師們也認同學生們所擔心的問題之嚴重性。

● 課程委員會功能不佳
訪視委員們主要的批評之一,是該校缺乏監督課程的單位或主管,以致沒有機制與能力去調整及協調課程。報告中提到,醫學院院長是學術主管,然而當醫學教育課程有必要調整時,醫學院院長並沒有明確的權限可以去執行與確保課程的實施與管理。例如,前任院長Dr. Steven J. Scheinman曾欲調整醫三、醫四的課程表,讓學生在決定選擇臨床科別前有選修的機會,以便多了解其他的臨床學科,但他的努力並未成功,因改變課程的權力是在各學科的主任與教授手上,而不在院長或課程委員會。

學生們曾向院長Dr. Scheinman抱怨,有一門醫學人文課程花費他們太多的學習時間,但未被重視與處理。隨後,此班學生即發生考試作弊的醜聞。這些學生們在網路測驗時集體作弊。發生此弊案後,院長停止該門課程至少一年,並進行調查。在被LCME評鑑為「待觀察」後,校方在申訴書中指出該院長並非沒有權力調整課程,他曾經介入課程的調整,但需要更多的時間,以供負責的教師提出改善計畫。在LCME評鑑未通過後,Dr. Scheinman辭職,由Dr. David B. Duggan接任院長。

● 學校未重視學生的生活輔導
訪視評鑑報告中提及,在畢業生問卷調查報告中發現,五年來,該校學生被虐待的比率增加,尤其是2009年這一班,其學生發生的性別、種族或性傾向歧視與被虐待的比率大幅度增加。學生的調查報告提出曾經被教師、護士與主管們虐待。

● 學校對不同校區的學生學習成果要求不一致
紐約上城醫學大學共有兩個校區——Syracuse與Binghamton,但對學生們的要求並不一致。例如,此二校區對學生畢業資格的要求不同,顯示出課程監督的架構缺乏管理機制,無法一致性地管理兩個校區的課程,明顯不符合LCME評鑑準則之規定。

● 學校財務不充裕的負面影響
1.基礎科學教師不足
校方曾計畫聘請多位基礎科學教師,但該州經濟狀況不佳,受到州政府預算的限制影響,無法及時聘請到教師。

2.學生人數無法增加
校方於2007年原擬增加30%的醫學生招生名額,但其增收學生的計畫,因州政府財政困難,無法支付學生人數增加後對於學校軟硬體設施的擴充需求,以致於可能到2015年都無法增加醫學生招生名額。

3.紐約上城醫學大學的重大缺點
(1)指導課程的醫學院辦學目的缺乏一致性。
(2)學校的辦學目的並未一致地陳述在以成果為基礎的課程中,因此無法確實評量學生的進步情形。
(3)某些臨床專門學科的課程,沒有對全部的學生採用一致的評量標準。
(4)沒有一個機制確保學生、住院醫師與教師們都知道學校的辦學目的。
(5)在所有教學場所中應用的可比較的教育經驗與評量,並沒有存在於某些課程中。
(6)學生在某些課程沒有及時獲得期末成績。
(7)沒有系統去確保學生們在某些課程可以獲得正式的回饋。
(8)沒有有效的權力去整體規劃、管理與評估一個連貫且協調的課程。
(9)院長沒有權力去調整課程。
(10)沒有教師委員會有效地監控課程內容,以確保達到教育目的。
(11)不同校區的臨床要求不同,對於偏遠地區的訓練課程也缺乏足夠的監督。
(12)在不同的校區,學生畢業資格的必修學分時數不同。
(13)很少證據證實學生的回饋被用在改善教育的課程。
(14)該校學生對於學校預防霸凌政策的知道程度,低於全國醫學生的平均程度,而且該校學生報告遭受虐待的比率超過全國的平均比率。
(15)超過100名醫學系四年級學生在網路考試時互相分享答案,或被告知此作弊的行為。

紐約上城醫學大學於2013年3月21日至24日再次接受LCME的正式評鑑訪視,LCME並預定於6月做出最後決定。而校方則說他們接到前來訪視的LCME官方回饋,感受到很大的鼓勵,希望能撤除「待觀察」之決議。

相對於紐約上城醫學大學因教育課程與教學環境出問題,以致LCME評鑑未通過,美國另外一所醫學院從2000年開始,每兩年即進行醫學院教育課程定期的評估,隨時準備提供符合LCME評鑑準則的醫學教育,此醫學院即為賓州州立大學醫學院(Penn State University College of Medicine)。

賓州州立大學醫學院 醫學教育課程評估之規劃實施策略

● 依據共識成立課程評估委員會
賓州州立大學醫學院藥理學教授Dr. Kelly Karpa等人在其文章中提出( Karpa & Abendroth, 2012),醫學院必須建立能滿足LCME評鑑準則要求之評估方式,因此應該考量學生的回饋意見,執行課程內容、教學、學生進步情況評量等持續且長期性的監控,運用課程評估的結果發展與改善課程,並且從學生畢業後的表現評估醫學院課程的成果。要能成功地完成這些任務,如何找到最適當的評估步驟與最佳的負責人,是最優先要做的工作。

賓州州立大學醫學院於2000年開始實施系統性的課程評估過程,以證據、批判性的建議、省思與行動的循環,以及具反思能力的臨床醫學教育者的文化為基礎。當時先成立負責評估的獨立單位「課程評估委員會」(Curriculum Evaluation Committee,簡稱CEC),其任務為:(1)評估醫學院課程的表現、成果與影響;(2)判斷教學方法的意義與價值;(3)與其他機構的委員會合作,以改善課程的表現。該委員會委員每隔兩年即對臨床前課程與實習醫學生之臨床訓練課程,進行範圍廣泛的評細審查。評估的結果須向「大學部醫學教育委員會」(Committee on Undergraduate Medical Education,簡稱CUMED)報告。

● 醫學教育課程評估之規劃暨實施策略
課程評估委員會每個月開會一次,每次討論兩個課程。委員會在審查一個課程時,評估的四個重點為:目標與目的、內容、測驗與評量,及學生的意見。委員會開會前,每一個課程有四名委員被指派針對課程的四個評估重點進行審查。擔任審查的委員會事先收到與課程有關之特定資料,以及可上網觀看網路上的該課程教學相關材料。開會時,每一個課程會有四名委員分別報告審查結果,並進行討論。各重點之審查過程如下:

1.課程目標與目的
委員依據學校的辦學目標與目的,去評估課程的目標與目的,並查核可能的變數。每一門課,包括演講、實驗課及小組教學等,皆被期望包含解決不同認知層級的特定學習目的,而且是以該行為的專有名詞撰寫,明白列出醫學生在該課程的修課結果,所應展示的知識、技巧與態度。

2.課程內容
委員將課程內容與課程目標、列出的學習目的、美國醫師執照考試的課程內容大綱(USMLE course content outlines)(Instituto de Ciencias de la Salud de Las Américas, n.d.),以及國家級的學會出版的課程內容作比較。課程內容的遺漏、重複、組織、教學方法、上課幻燈片的品質,以及網路課程管理工具的搜尋操作方便性等都要被評量。委員利用美國醫學院學會(AAMC)發展的課程管理與資訊工具(Curricular Management and Information Tool),去評量課程內容的水平與垂直整合。委員會對臨床實習醫學生訓練課程(Clinical Clerkship)進行評估,也評量住院病人及門診病人的學習經驗、執行程序技能的機會,以及於不同的臨床訓練地點中,學生的學習經驗之可比較程度 (comparability)。

3.測驗與評量
選擇題為基礎的測驗,委員會從測驗的信度、效度、測驗題目與課程的目的與內容之相關性、被測驗者的認知範疇之層級、題目的困難度、題目的鑑別價值、學生成績分布、考題的格式與品質等進行評量。

4.學生意見
學生在課程學習結束的評估是半定性的、五分法評分,加上不具名的、自由的評論。委員複查學生們的評估意見,以找尋相關的項目,例如:演講的品質、課程的結構、學習目的的明確度、問題導向學習課的品質、線上練習與小組上課、需要增加或減少強調的主題、考試題目的內容與清楚易懂的程度、按照課程與演講目的測驗必須學會的知識之層級等。委員也複查學生焦點團體的回饋意見。

● 課程評估委員會的會議過程
每一位委員獨自審查他們被指派的課程重點或臨床實習醫師的訓練課程部分,而每一個課程的整體審查結果,加上之前的報告與行動計畫,都會在每個月的委員會議開會前寄發給全體委員。委員必須妥善準備,以對開會時欲討論的兩個課程提出建議。

開會時,每一個課程的正面與負面部分都會被討論,而且要提出改善的建議。討論之後,由課程評估委員會提出最後的審查報告給課程負責人與大學部醫學教育委員會。一個月內,課程負責人與大學部醫學教育委員會的代表應開會討論該審查報告。之後,課程負責人必須在30天內提出書面答覆,內容包括下年度的行動計畫。之後由大學部醫學教育委員會審查課程評估委員會的審查報告及課程負責人的書面答覆,且可要求課程負責人採取更多的行動。此大學部醫學教育委員會層級的審查,可提供另一個機會去注意醫學院課程內容的水平與垂直整合。

一旦大學部醫學教育委員會同意課程評估委員會的審查報告及課程負責人的書面答覆,醫學院院長與學科主任們皆會收到這些資料及最高階主管的指示,進行課程改革。因此,課程評估委員會的評估過程建立了一個課程品質提升的回饋環(feedback loop),課程資料被持續地、有效率地評估,有效地實施改革,再持續地定期評估,以更精進。

課程評估委員會對醫學教育課程改革的影響

自2002年起,課程評估委員會的評估結果改善了不少課程的缺失,包括增加講課時數、更多門課列出明確的學習目的、測驗的題目採用國家醫師執照考試的格式等。整體而言,兩年一次的評量工作,讓好的表現可獲得學科主任的獎賞,有問題的課程則被找出來加以修正,而且促進從院長到個別教師皆對課程問題有共同的警覺性。最有意義的影響莫過於學生在國家醫師執照考試的通過率,從平均通過率90%提高至95%,以致有些課程負責人要求課程評估委員會每年都進行課程評估,不必兩年才評估一次,顯示課程評估委員會的工作廣受該校主管與師生們的肯定與歡迎。

定期進行課程自評 改革效果更顯著

2005年,愛爾蘭皇家外科學院醫學院邀請校外訪視評鑑委員進行依據WFME全球醫學教育評鑑準則的評鑑,而未獲通過;而2008年加拿大亞伯特大學醫學院與2011年美國紐約上城醫學大學醫學院,則是接受依據LCME準則的評鑑未通過;前者是校內自動進行的評鑑,屬於醫學院自發的自評,後者是由美國醫學院學會(AAMC)及美國醫學會(American Medical Association, AMA)共同成立的美國醫學教育評鑑委員會(LCME)所進行的高階評鑑。醫學院評鑑結果影響甚大,如有嚴重缺失者甚至會被撤消醫學院的認可,非常受各醫學院重視。以美加為例,LCME評鑑未通過之醫學院,即須立刻開始進行教育改革。

然而,不論是因為外來的評鑑壓力或內部自評結果的要求,醫學教育單位要進行課程改革時,須有明確的改革計畫,包括目標、目的、實施策略及評估等,並且要在主管的強力支持下進行。此種改革,必須明確地告知全校師生、校友及利害關係者,以建立共識並獲得全力支持,才能逐步按照計畫進行改革。在改革過程中,須有定時的成果檢討及改善機制,才能完成教育改革的目標。事實上,預防勝於治療,若各醫學院能參照美國賓州州立大學醫學院的作法,定時對醫學教育課程自評,將可降低對訪視評鑑的憂慮與抗拒,也可避免重犯美國紐約上城醫學大學醫學院的失誤。

目前臺灣教育單位大都將課程送給校外學者專家審查,如果能參考美國賓州州立大學醫學院的作法,由校內師長進行自評,課程改革的效果可能會更為顯著。希望本篇文章能提供熱心醫學教育者最實用的參考資訊。

◎誌謝

筆者非常感謝Dr. James T. Mulder同意翻譯,並告知紐約上城醫學大學醫學院的近況,以及Dr. Kelly Karpa的經驗分享。

◎參考資料

劉克明(2013年3月)。轉敗為勝──愛爾蘭皇家外科學院醫學院通過評鑑的經驗(上)。高雄醫學大學e快報,217。取自http://enews2.kmu.edu.tw/index.php/Enews217

劉克明(2013年3月)。轉敗為勝──愛爾蘭皇家外科學院醫學院通過評鑑的經驗(下)。高雄醫學大學e快報,218。取自http://enews2.kmu.edu.tw/index.php/Enews218

劉克明(2013年5月)。課程改革的挑戰與影響。高雄醫學大學e快報,221。取自http://enews2.kmu.edu.tw/index.php/Enews221

Instituto de Ciencias de la Salud de Las Américas. (n.d.). USMLE preparation course outline . Retrieved from http://www.icsausmle.com/ICSA%20USMLE%20COURSES%20CONTENT.pdf

Karpa, K., & Abendroth, C. S. (2012). How we conduct ongoing programmatic evaluation of our medical education curriculum. Medical Teacher, 34 (10), 783-786.

Mulder, J. T. (2012, March 6). Accreditation group finds erratic learning environment at upstate medical school. The Post-Standard . Retrieved from http://www.syracuse.com/news/index.ssf/2012/03/accreditation_group_finds_erra.html

 列印 |  轉寄好友 |  Top |  回首頁

本期目錄
-本期目錄