財團法人高等教育評鑑中心基金會  

 

如何準備TMAC新制評鑑──借鏡LCME的準備經驗
文/劉克明
  高雄醫學大學醫學系教授
  醫學院評鑑委員會委員

2010年,臺灣醫學院評鑑委員會(TMAC)參考美國醫學教育評鑑委員會(Liaison Committee on Medical Education,簡稱LCME)的準則(LCME Accreditation Standards)、TMAC原有準則和TMAC歷年評鑑所發現的問題等三方面資料,經過多次開會討論,擬出新的評鑑準則草案,經過2012年試評後定稿,並決定自2014年開始採用新制評鑑準則評鑑醫學院。目前,預定受評的醫學院正面臨如何依據新準則的內容,充分準備自評資料,並接受實地訪視,期以順利通過評鑑的重大挑戰。筆者謹分享美國醫學院接受LCME訪視評鑑的相關資訊與經驗,以供參考。

LCME的重要性及影響力

LCME之任務是評鑑與認證美國及加拿大的醫學院,是否有符合LCME所規定的醫學博士學位學程之架構與功能的評鑑準則之標準。LCME的評鑑與認證不但是確保醫學院教學品質的重要方法與策略,也期以鼓勵醫學教育機構與教育學程的改善。雖然LCME認證被認為是一個自願的過程,然而實際上,美國與加拿大的全部醫學院均視此認證為絕對必要,因為只有經LCME認證通過的學程醫學生或其畢業生,才能參加美國醫師執照考試(United States Medical Licensing Examination,簡稱USMLE),且全國各州執照委員會均規定應從LCME認證通過的醫學院畢業才可頒發執照。而從LCME認證通過的醫學院畢業者,才有資格申請美國「畢業後醫學教育評鑑委員會」(Accreditation Council for Graduate Medical Education,簡稱ACGME)認證通過的住院醫師訓練學程。此外,只有獲得LCME認證通過的醫學院有資格接受聯邦政府的補助及參與聯邦政府的重要計畫,其醫學生才能獲得銀行的助學貸款。

評鑑「待觀察」讓紐約上城醫學大學絕處逢生

筆者曾在《評鑑雙月刊》第44期寫到美國紐約上城醫學大學(State University of New York Upstate Medical University),在2011年接受LCME的訪視評鑑,因15項未符合評鑑準則,評鑑結果為「待觀察」(On Probation)。「待觀察」的定義為評鑑機構嚴重地擔心受評單位未符合評鑑準則的層級及範圍,依美國聯邦政府法規,如一個受評單位未符合評鑑準則持續兩年,除非有很好的理由可以延長期限,否則評鑑機構就必須撤消受評單位的認證。

至2011年,美國接受LCME評鑑的136所醫學院,共有6所的評鑑結果為「待觀察」,紐約上城醫學大學是其中之一。紐約上城醫學大學雖有提出申訴,但在2011年11月,仍接到LCME維持「待觀察」的最後決議。當時,紐約上城醫學大學代理院長Dr. David Duggan對全體師生表示,他們需要依據LCME提出的問題與建議,在兩年內完成改善,才能再申請LCME的訪視。Dr. Duggan說:「紐約上城醫學大學雖然被LCME評鑑結果為『待觀察』,但我們要把握這個非常好的機會,當作一個正向的經驗,不但從其中學習與成長,而且將成為更好的學校。

隨後在校長Dr. David R. Smith全力支持下,Dr. Duggan主導檢討與改進,其範圍包括將大部分的學科、學校及委員會的主管都換成新人,鼓勵年老教師退休,聘請年輕教師,成立負責學生權益的新委員會,並充分授權課程委員會主導課程的改革及教學品質的改善等。經過全體師生一起努力,2013年6月經LCME再次訪視後,評鑑結果終於取消紐約上城醫學大學的「待觀察」,可以持續招收醫學生,讓紐約上城醫學大學絕處逢生。

正因為LCME的評鑑準則是被美國全國接受的教育品質準則,因此各醫學院學術主管,普遍地依據評鑑準則準備LCME的訪視,並將此預備工作合併於進行中的教育品質改善計畫。因此,即將接受LCME訪視,代表受評醫學院一個重要且難得的自我檢視機會。

石溪大學醫學院通過LCME全面認證的準備經驗

2011年4月,另一所位於紐約的石溪大學醫學院(Stony Brook University School of Medicine,簡稱SBU SOM),也要接受LCME的評鑑訪視。該醫學院在院長Dr. Kenneth Kaushansky領導下,事先經過三年的充分準備,並於2011年12月順利地無條件通過LCME的全面認證(Full accreditation),且有五項優點被列為該校特色。醫學院副院長Dr. Latha Chandran將他們依據評鑑準則準備接受LCME的訪視預備工作,並合併於進行中的教育品質改善計畫之經驗,發表於醫學教育期刊Academic Medicine,提供各校參考。筆者獲得Dr. Chandran之同意,謹譯述其重點如下。

石溪大學醫學院屬於紐約州立大學系統之四個醫學院之一,創立於1971年,於2003年與2004年分別接受LCME的全面訪視及有限度的追蹤訪視,2009年春季再接獲LCME將於2011年4月進行全面訪視的通知,以作為認證其醫學博士學位學程的過程。為了2011年的訪視,石溪大學醫學院以五個階段進行準備:第一階段是規劃期,時間為期四個月;第二階段是資料收集期,時間為期十二個月;第三階段是文書建檔期,時間為期六個月;第四階段是訪視預備期,時間為期二個月;第五階段是訪視追蹤期,時間為期16個月。各階段工作重點如下:

第一階段:規劃期

● 指定LCME訪視準備之領導階層

石溪大學醫學院一接到LCME的訪視通知,醫學院院長Dr. Kenneth Kaushansky即指定畢業前醫學教育副院長Dr. Latha Chandran擔任LCME自評協調人(LCME self-study coordinator),為了準備此新的領導角色之任務與責任,Dr. Chandran參加LCME在美國醫學院學會(Association of American Medical Colleges,簡稱AAMC)年會所主辦的訓練課程,並且完成即將接受LCME評鑑學校的教師之訪視觀摩學習(LCME faculty fellowship)(註1)。她並協調與其他機構有受評經驗的同儕建立連絡網,主動從當地重要的相關機構利害關係人(stakeholders)獲得資料,更去拜訪該校上次接受LCME訪視的協調人,以獲得重要的提示。

為了分擔LCME訪視準備有關的管理責任,Dr.Chandran邀請兩位資深且具終身職的教授擔任醫學院LCME任務小組副主席。Dr. Chandran與兩位副主席構成校內LCME領導團隊的三人小組,每一位都各有其專長,而且分別代表校內不同利害關係人的連絡網,包括基礎與臨床科學、量性與質性分析、臨床與科學的經驗等。三人小組每週開會,以建立對應LCME訪視活動計畫,特別針對LCME訪視的行程預備進行模擬訪視、追蹤改善與協調溝通等工作。

● 受訪學校的任務架構

依據LCME訪視指引(site-visit guidelines),三人小組先成立醫學院LCME訪視任務小組,以監督整個預備過程和幾個工作小組的工作。為了確保LCME的訪視自評(LCME Self-study)之準備過程是透明且公平的,三人小組編寫指引,明定教師、行政人員、學科主管、行政主管、學生代表及志工等的資格與人數,以確保LCME訪視任務小組委員們的代表性與公平性。

LCME依評鑑準則的領域,將自評分為五個主要領域,即機構的設立(Institutional setting,簡稱IS)、教育學程(Educational program for the M.D. Degree,簡稱ED)、教師(Faculty,簡稱FA)、醫學生(Medical students,簡稱MS)及教育資源(Educational resources,簡稱ER)。石溪大學醫學院再依各主要領域的項目數目,組成數個工作小組,分別為:機構設立領域工作小組、教師領域與教育資源領域各1個工作小組,醫學生領域2個工作小組,教育學程領域則依課程的規劃架構分8個工作小組,總共13個工作小組。每個工作小組的組員中都有三人小組的一位成員。

LCME訪視任務小組的成員也包括所有13個工作小組的組長及資深學校主管,每個月定期開會,而工作小組則視需要經常開會。

● 掌握受訪機構的弱點

在成立LCME訪視任務小組與13個工作小組後,三人小組回顧2003年LCME全面訪視與2004年追蹤訪視的全部資料、問題及相關回應,例如:課程委員會與教師評議會的會議紀錄、石溪大學醫學院法規、醫學院政策及醫學院網頁等,以確認有可能被列舉為缺點的風險領域。三人小組將這些醫學院的弱點與主要利害關係人,包括課程委員會、教師代表、課程負責人、學科主任等人溝通,懇求提供更廣泛的資訊。部分已被確認的弱點有:採取合作或跨校性的責任,以監督與管理課程(ED-33)、在課程中不按規定提供學生形成性與總結性評量,而且未經常以及時的方式提供評量(ED-30)、主管長期出缺(IS-11)等。由於這些弱點曾經被批評,三人小組擔心若有任何一個弱點再次被提出,將導致「待觀察」的嚴重風險,特別是在明知有弱點,卻未能密切協調加以改正的情況下。故三人小組經常性地評量石溪大學醫學院的弱點,且定時以顏色標誌公布LCME風險圖:紅色代表高度風險,黃色代表中度風險,綠色代表低度風險。

● 共識營(Retreats)

為了LCME的訪視,三人小組共主辦四次的校內共識營,其中兩次邀請外賓演講,參加對象為教育單位主管、教師及學生代表等。為了確保全部利害關係人都確實了解LCME評鑑準則的要求,在其訪視前18個月開始辦理第一次共識營,邀請AAMC與LCME的辦公室代表(註2)演講,說明LCME的訪視過程、解釋要提交的書面資料,並提出對石溪大學醫學院的建議。此外,第一次共識營建立辨認醫學院高風險領域的步驟,而且設立一個討論如何解決每一個弱點的平臺。

第二次共識營是在LCME訪視前11個月,重點在澄清醫學生的學習目的與能力(learning objectives and competencies)。第三次共識營安排於LCME訪視前四個月,此次重點在石溪大學醫學院的弱點,特別邀請一位校外顧問到校演講,他來自於最近被LCME評鑑為「待觀察」的醫學院,分享「待觀察」的評鑑結果對於該校的衝擊與影響。此外賓的第一手資料,讓共識營參加者真正感受到LCME評鑑未通過的震撼。第四次的共識營是在LCME訪視前一個月,焦點在學生的學習環境、師生關係及學生受到不平等待遇或騷擾的案件等。每次共識營參加者約75至140人,他們不但踴躍出席,而且都從第一堂課參加到最後一堂課。

四次共識營提供師生們一個公開的論壇、分享LCME訪視相關的資訊、討論各領域的問題,最重要的是對於石溪大學醫學院所潛在的高風險弱點,建立如何解決的策略與共識。

● 基本架構的支持

LCME工作小組內部、工作小組之間及與LCME訪視任務小組間的溝通是非常重要的。為達此目的,石溪大學醫學院醫學資訊部採用英國的Alfresco軟體整合LCME的自評書面資料,因為此軟體是一個網頁為基礎的公開資源,讓多位使用者能夠在一個安全的、密碼保護的環境下,合作編輯自評書面資料,但在一個時間點僅容許一個人去修改資料,而且所有原始及修改過的資料,皆會依序地儲存於醫學資訊部的資料庫。同時,三人小組也會運用Alfresco軟體去追蹤已被排定的任務之執行與完成程度。

在各個規劃階段,石溪大學醫學院LCME的自評書面資料皆曾送請校外顧問審查,這些顧問後來也被邀請進行模擬訪視。校方同時也特別聘請一位專業的編輯擔任顧問,以協助自評書面資料的最後審查。另外,指派一位細心的行政管理助理及一位支援行政人員參與LCME訪視準備過程,擔任工作小組內部及工作小組之間的協調工作。

第二階段:資料收集期

● 自評資料庫

三人小組為了建立自評資料庫(self-study database),把LCME的評鑑準則及LCME資料庫中相關的問題,寄送給13個工作小組,並指定完稿日期。醫學院院長辦公室雖有提供一些重要的數據,但各工作小組仍然進行醫學生、畢業生及課程負責人相關的調查。各工作小組組長須定期地向LCME訪視任務小組報告他們的進度,此小組間定期的溝通,可增加校內各單位對潛在風險的警覺性,以促進其必須改變的意願。

● 自評的敘述

根據已建立的基本資料庫,每一個工作小組準備一份對LCME指定自評資料的主要問題之回應初稿。當各工作小組在撰寫回應稿時,必須先了解LCME訪視委員審查的標準,以確保回應內容的適切性。待13個工作小組完成回應初稿後,三人小組謹慎地將它們濃縮成一份35頁的自評書面資料。

第三階段:文書建檔期

● 重點為佐證文件內容的一致性

在LCME訪視前三個月,工作小組已依據LCME指引準備五個領域的檔案,在此同時,三人小組也複查了全部的佐證資料,調整所附的表格及其敘述,以確保LCME的要求有被適當地處理。而且為了全部資料的一致性與透明度,三人小組特別仔細編輯此五個領域的檔案,以達到整份自評書面資料與佐證文件內容的完整與一致性。

● 同步努力

醫學生自我分析報告是由醫學生自治團體的代表們獨立主導,學務長協助完成。每一年級有兩位學生領袖擔任LCME任務小組的學生委員,他們選擇其他的學生代表分析全部的、個別的課程及課外活動。為促進學生們進行獨立的自我分析,學生代表會拿到LCME的指示、前一次(2003年)LCME訪視的學生意見調查結果,以及得到石溪大學醫學院醫學資訊部的技術協助。三人小組並鼓勵學生代表與最近經歷過LCME訪視的其他醫學院醫學生自治團體領袖們接觸,以獲得第一手的經驗

身為LCME任務小組的委員,學生領袖們主動參與整個LCME訪視的準備過程,而且定期提供報告給LCME任務小組。隨後,三人小組比較教師與學生團體的觀點及感受,並且在石溪大學醫學院LCME的自評書面資料中提出師生不一致的關鍵領域細節,並說明會發生此差距的可能原因。

● 顧問的回饋

三人小組將整個資料庫、LCME自評書面資料及附件的初版草稿寄給校外顧問,以供審查並提出回饋。三人小組隨後將收到的修改部分及回饋意見加入新版的報告中。

● 定稿的書面資料

在編輯專家的協助下,三人小組審視最終版的LCME自評書面資料草稿,將日期、表格、圖片及敘述更新,以反映最近的學年報告及最新數據。至於有時間敏感性的重要資料,在LCME實際訪視前一個月,該校會再提供最新版本給LCME。

第四階段:訪視預備期

● LCME訪視前的預備

三人小組於石溪大學醫學院寄出LCME自評書面資料後,即著手準備即將到來的LCME實地訪視。此一階段,行政管理助理在安排與組織會議方面,扮演特別重要的角色。

三人小組擬定參加模擬與實際LCME訪視的規則,例如:提早到達指定場所、不要攜帶呼叫器與手機、重視儀容、服裝整潔等。行政管理助理協調並安排模擬LCME訪視委員的交通、住宿和接送,以及其他相關的支援行動,例如:預先保留會議室、預定參觀的單位及其動線等。

● 參與者的訓練

石溪大學醫學院的三人小組運用從LCME網頁資料及其訪視常見的問題,擬定一份15頁的執行摘要,作為參與LCME訪視準備者的訓練材料,其內容針對特定的參與者,包括學生、學科主任、課程負責人、住院醫師、教師等,分別提出潛在高風險的弱點領域,並進行最可能遇到的問題及各種問題個案的情境角色扮演與討論,努力提高參與者對於可能被批評的弱點及最近已進行改善的部分之了解。

為了讓最多人員參與訓練,三人小組在不同日期、時間與地點舉辦多場次的說明會,且為了確保所有參與者能對LCME訪視委員有一致性的回應,安排學生、學科主任、課程負責人、住院醫師、教師在同一時段參加訓練。藉著同一時段的訓練課程,各利害關係人小組間能充分分享資訊與交換理念。

● 模擬訪視

在LCME實際訪視前二個月,石溪大學醫學院邀請校外顧問們主導一次模擬LCME訪視。該次預演是為了找出不符合評鑑標準的領域,及需要更進一步訓練的工作小組。模擬訪視之結果如發現少數特殊個案,將由三人小組為這些教師主持個別的訓練課程,以確保他們對LCME訪視委員提出的問題會有正確回答

第五階段:訪視追蹤期

LCME訪視委員於訪視的最後一天,會當場將訪視發現的醫學博士學位學程特色、優點與不符合標準的領域,摘要向石溪大學醫學院院長、校長報告。隨後,院長於當天晚上舉辦感謝該校所有參與者的晚會,並轉述訪視委員的報告。而後續的工作為再應LCME辦公室的通知,寄上補充資料。六個月後,石溪大學醫學院接到LCME正式通過評鑑的通知函。

評鑑準則影響評鑑結果

近年來,LCME的評鑑趨於嚴格,對未符合評鑑準則的醫學院,採取更嚴厲的處置。此可從美國醫學會(American Medical Association,簡稱AMA)的報告得知,自1996年至2000年,僅有3所醫學院被評為「待觀察」,然而在2004年至2009年間,卻有高達10所醫學院獲得「待觀察」的評鑑結果。且從2009年以來,面臨被制裁的醫學院數目持續增加。然而依據LCME秘書長Dr. Dan Hunt的說法,過去LCME的評鑑準則條文敘述不是很明確,但在2002年,LCME更明確地闡明其評鑑準則後,醫學院的訪視團隊有了更清晰的評鑑焦點,但是許多醫學院未能即時適應修正後的評鑑準則,因此被制裁的醫學院數目就開始增加

因此事實上,未來受評醫學院應該模仿紐約石溪大學醫學院,預備三年的時間,在校內LCME訪視領導團隊的三人小組全力帶領下,加上13個工作小組,依據LCME評鑑準則的內容,充分準備學校自評資料及訪視,仔細探討與確實改善醫學院的弱點,撰寫嚴謹的LCME自評書面資料,同時借重校外顧問的經驗,激發師生與職員的使命感及參與熱忱,進一步廣泛訓練LCME訪視參與工作者,尤其在經過模擬訪視演練後,確保面對LCME訪視委員有全體一致的答案,也因此能夠很順利地通過LCME評鑑,再次獲得有效期八年的認證。

臺灣TMAC從2014年開始採用新制定的評鑑準則,訪視評鑑的項目與焦點更為明確,評鑑結果是否會如Dr. Hunt所說,由於可看到受評學校更核心的問題,因而導致更精確的評鑑結果,則有待進一步觀察。筆者謹建議國內受評醫學系能確實將紐約石溪大學醫學院用心準備LCME評鑑與訪視的經驗作為借鏡。

◎誌謝

美國紐約石溪大學醫學院副院長Dr. Latha Chandran同意筆者翻譯,並於通信中提供許多寶貴意見,謹此致謝。筆者並特別感謝TMAC主委賴其萬教授的細心指導及張曉平小姐的熱心協助。

◎附註

1.LCME faculty fellowship是指一個醫學博士學位學程即將接受LCME全面評鑑的醫學院,在其開始準備自評的過程前,該醫學院會被LCME要求指派一位負有領導重任的資深教師擔任「Faculty fellow」,實際參加一次LCME對其他醫學院的全面評鑑訪視,作為觀摩與學習,此種經驗稱為「LCME faculty fellowship」。

2.LCME是由美國醫學院學會(Association of American Medical Colleges, AAMC)與美國醫學會(American Medical Association, AMA)共同組成的醫學博士學位學程的認證組織,兩個機構都分別指派秘書(Co-Secretary)及助理秘書等行政人員,每年輪流由一個機構的秘書擔任秘書長(General Secretary),另一個機構的秘書為副秘書長。LCME辦公室每年會在AAMC年會時,舉辦評鑑訪視委員工作坊,提供新舊任評鑑訪視委員的經驗分享與討論。在平時,LCME辦公室則會應醫學院邀請,安排適當代表前往說明LCME的訪視準備,並給予建議。

◎參考資料

劉克明(2013)。醫學院如何確保教學品質以通過評鑑評鑑雙月刊,44,43-48。

Chandran, L., Fleit, H. B., & Shroyer, A. L. (2013). Academic medicine change management: The power of Liaison Committee on Medical Education accreditation process. Academic Medicine 88(9), 1225-1231.

Kelderman, E. (2014, April 10). Regional accreditors agree on common terms. The Chronicle of Higher Education. Retrieved from http://chronicle.com/article/Regional-Accreditors-Agree-on/145853/

Mulder, J. T. (2012, February 18). Upstate medical school put on probation because of problems with courses, administration. Syracuse.com. Retrieved from http://www.syracuse.com/news/index.ssf/2012/02/upstate_medical_school_put_on_1.html

Mulder, J. T. (2013, June 6). Upstate medical school taken off probation by national accreditation group. Syracuse.com. Retrieved from http://www.syracuse.com/news/index.ssf/2013/06/national_accreditation_group_t.html

Sakai, D. H., Kasuya, R. T., Smerz, R. W., & Ching, N. (2013). Medical school hotline: Liaison Committee on Medical Education (LCME) accreditation and the John A. Burns School of Medicine: What medical student teachers should know. Hawaii Journal of Medicine & Public Health. 72(7) , 242-245.

Stony Brook. (2011, Dec. 5). Stony Brook University School of Medicine granted full accreditation status. Stony Brook News. Retrieved from http://commcgi.cc.stonybrook.edu/am2/publish/General_University_News_2/Stony_Brook_Medical_School_Granted_Full_Accreditation_Status.shtml

 列印 |  轉寄好友 |  Top |  回首頁

本期目錄
-本期目錄
單元相關文章