財團法人高等教育評鑑中心基金會  

 

建制大學自我評鑑與專業人員知能
文/黃淑玲
  高雄醫學大學人文與藝術教育中心助理教授

大學評鑑的核心概念是各校內部能組織動員,並能透過PDCA(Plan-Do-Check-Act)或近似的概念架構(conceptual framework),進行自我評估與檢視(self-study)的專責工作。更重要的是,大學能客觀且具體地在自評報告中呈現受評單位現有的優、缺、強、弱項,並且經過校內行政程序,作成具有時程規劃的行動方案,以展開必要的後續改善措施甚至革新。如此一來,大學的教育品質能與時俱進,呈現大學自治的績效責任,並使大學評鑑能在自我檢視與後續改善措施兩相協調統整(alignment)下落實無虞。

銜接筆者在本刊第45期〈關鍵時刻的校務研究與評鑑新貌〉中對於校務研究與大學評鑑兩者關係的論述,本文將進一步說明:(1)執行自我評鑑之專責單位的建制與職責;(2)人員的定位與專業知能。藉由案例檢視其具體作法,以茲我國援引,以利各校挑起自評重責,深植校園自評文化,建立以事證為基礎的決策模式(evidence-based decision making)。如此,大學各校不僅可符合評鑑要求,更能定睛於自我超越和永續經營,彰顯大學自治的價值。

建制自我評鑑專責處室

隨著大學評鑑方向的轉變,評鑑的專責處室名稱與工作內容也隨之更迭,例如以學生學習成效作為大學受獎補助、招生、學校聲望的具體指標後,在美國一直隸屬於行政副校長的「校務研究辦公室」(Institutional Research Office,簡稱IR Office),開始採用「機構效度辦公室」(Office of Institutional Effectiveness,簡稱OIE)的名稱,而所謂的「機構」(institution)即指大學之意。名稱的改變是組織變革的表徵,網頁介紹中須由上而下地說明處室權責;但各校在建制類似的專責單位時,則須具有由下往上,從處室人員編制、權責到呈報對象的層次思考,例如:

1.職責所及,辦公室人員需要那些專業知能?

2.組織變革前、後的職責範圍與工作項目是增加,或是處室轉移?

3.若是處室整併,組織是否更趨扁平化而有效率,不會疊床架屋?處室內部人員是否工作權責明確,且相互連貫?

4.若是成立新的處室,卻又與其他處室共享資料庫的話,處室之間的定位、方針、工作內容與呈報對象是否明確,降低內部競爭的緊張關係?

5.此處室/專責單位主管、呈報對象是否具有影響力,足以支持單位業務的推展?

6.該處室的資料分析結果,以及任何後續策略以供佐證、改善、優化,甚至競爭等,多涉及校級協調(例如經費、資源調整與分配等)。因此,接受結果呈報的首長,具有行政高度較能順利推動業務工作,或支持後續措施。

典範案例

位於美國印地安那州的波爾州立大學(Ball State University,簡稱BSU)執行學習成效評估有成,其作法更充分融入學校自評規劃中,是美國校務研究圈中的典範學校。其今(2013)年方改名為「機構效度辦公室」的校務研究單位,是由去(2012)年方整併完成的「學術評估(1987年成立)與校務研究辦公室(1990年成立)」而來。此OIE辦公室為該校首要的決策支持單位,提供首長們重要的參考資料,也是對外(如美國教育部)提供必要的校務資料之窗口。細究OIE的工作職責包含下列數項:

1.單一窗口,資料蒐集與提供者
OIE提供即時、常設的數據資料,如註冊率、在學人數、輟學率等。畢業生資料則依照學位別、系院、性別、國籍別分析呈報。由於各系、院或學校本身必須同時對外向公部門甚至向排名系統商業公司(如US News and World Report)提供數據資料,因此該處室的核心業務之一是每年固定更新共同資料庫(Common Data Set,簡稱CDS),以備統一彙整、分析校內資料。而它也是將統計數據匯向其他處室的首要窗口,供各系、院作為提供領域專業社群、出版社等運用的參考。其他工作項目尚包含以學生、教師為研究對象,進行各類問卷設計、資料蒐集與分析等工作。

2.建立數據資料定義
資料蒐集的重要工作之一在建立數據資料庫中每個調查變項的定義。例如,全職學生、半工半讀生,究竟每學期須修多少學分才符合定義?新生的定義是否也包含輟學後的回流生?專任教師的定義中是否也包含專案教師?釐清變項的定義且寫成編碼指南(a code book)後,對蒐集來的數據進行分析運算時才不會有誤差,而且不同數據資料庫的同一個變項才會有一致性。

3.設計校級調查問卷與進行相關研究,了解教學、學習、校園文化
OIE所設計與執行的諸多調查,旨在了解學生學習經驗、教師工作滿意度,以及校園文化等。畢業生的出口問卷調查(exit survey)、修業年數調查(time-to-degree survey)也如他校,是調查項目之一。由於招生與留住學生是各校的重要工作,因此,OIE於新生入學的第二天即進行新生問卷調查,以了解學生的基本資料、高中學習與社團經驗、進入此所大學的原始意願、影響選系與職涯因素、科技能力與態度等。報告內容除了全校總覽外,並依照院別、走讀生(通勤生)、家中的第一代大學生等面向分別進行分析。針對新生進行高中經驗與個人學習意願調查,的確值得我國學習。

4.校外專業參與
此辦公室參與全國性問卷調查工作,例如美國全國性學生參與問卷調查(National Survey of Student Engagement, NSSE)。問卷結果可供校外呈報與校內參考。

5.校內專業服務
包括開設工作坊與製作電子報半年刊,傳播校務研究結果,並且協助教師、職員進行學習成效評鑑、提供學習成效評估指南,以及獎勵與OIE資料相關之暑期研究計畫等。

6.開設校務研究證照學程
自2005年開設以來,已經有50餘位畢業生在校務研究領域內工作。這應是美國當今在校務研究圈中逐漸萌芽的發展趨勢,也是今年美國校務研究年會(Association of Institutional Research Annual Forum)探討的議題之一。

7.其他工作
蒐集教師的教學、研究、服務活動的相關資料,並提供軟體使用的教育訓練。

總體而言,OIE職責所及包含前端的了解調查需要類別,中端的執行調查,後端的呈報結果、對內外公布與流通結果,以及資料應用、教育訓練、研究獎勵等加值服務。

人員定位與專業知能

從自評規劃、運用資訊系統工具、開設工作坊、提供教育訓練、撰寫電子報與成果報告、對內與對外溝通與傳播,到專業證照學程等工作,皆在在說明了此領域的工作需要專業與工作經歷,且能體察高教時勢與政治氛圍。例如歐巴馬政府今年宣布實施「大學計分卡」(the College Scorecard)的措施,對校院管理者可能造成的績效壓力,將直接轉嫁給此處室。顯然,該處室的專業定位為校內首要的智囊單位,內部人員則是專業人力(professional staff),而且薪職自成一個系統,通常薪資職等會高於教職薪資職等。當然,工作資歷與能力也是聘雇單位考慮核給薪資高低的重要考量。以下即說明處室成員的專業資格與工作內涵:

1.處室主任
隨著大學評鑑成為大學校院的工作核心,該處室的功能正如上述BSU的案例一樣,從過往的大學校務研究轉化為機構效能研究,包含評鑑工作與校務相關規劃研究;其中,推動學生學習成效評估已是業務核心。總體而言,此主任隸屬校內核心經營團隊的一員,提供重要的決策資料,也蒐集學術與財政相關議題的資料並加以分析和呈報。管理資料分析與工具開發團隊必須發展與時俱進的分析工具或方法,資料分析結果能提供有效的建議方案,幫助首長們做促進教學與學習的決策。此主任直接向教務長負責,或向會計室主任呈報。

專業知能方面,需要有議題敏感度、統御領導力,並善於溝通,能說明研究發現如何解決問題,或引導新決策(initiatives),並能掌握變化快速卻又渾沌不明的高教本質。技術上能運用評估相關資訊科技、統計運算、資料庫管理、推動調查問卷設計與執行、人員管理,與帶動追求品質的工作氛圍。學歷要求通常需具有博士學位,學術領域與專業知能相近最佳,但是工作經歷豐富且貢獻具體者,是校務研究圈內選用人才的重要考量。

2.專業行政人員
人員編制多寡,純粹視該校如何看待此單位以及核心業務範圍而定。此專責人員的定位多稱為研究分析人員 (research analyst)或資料分析人員(data analyst)。學歷若具博士學位,則多屬於能獨當一面、開發教育訓練課程或發展新業務內容,以提升此單位的運作效能與重要性。若具有碩士學位,則多屬技術型人員,例如開發或維護資料庫、能使用電腦語言進行資料撈取(data mining)與分析、撰寫初步分析報告、資料蒐集與分析研究等庶務、校內外的聯絡窗口等。從現今高教嚴苛的情勢來看,該處室成員不僅需要研究分析能力,更需要善用口語溝通,以向各方的互動(利害)關係人述說分析結果的意涵,提供後續措施的建議。

有趣的是,在高學歷者找不到適合且穩定工作的勞動市場,美國的大學教授逐漸意識到他們必須帶領碩、博班學生進入校務研究圈,尋求運用研究技能的新契機。教育學院內的高等教育領域多與校務研究議題相關,甚至是校務資料庫的二手資料使用者。因為了解教育研究法、具有議題敏感度,並以高等教育體系及其所屬個人為研究對象,教授帶領學生開闢學術圈內的學術行政職之風氣已儼然形成。

結語:正視校務經營專業知能  大學自我評鑑是契機

若以我國明(103)年將採行的五大系所評鑑指標中的第五項「自我分析、改善與發展」為例,看似隸屬各院自行發展的工作內容,卻可從上述OIE案例以及人員的專業定位與職責中找到可供我國參考之處。在各校開始建立自我評鑑機制之際,有幾項重要觀念必須說明:

1.學術行政vs.學術研究:開發調查工具、蒐集、分析與呈報結果的工作是一項專業,多隸屬教育研究的一環。雖名為校務「研究」,但與純學術研究的主要差別在於前者的任何研究探討,都有明確的任務目標,要回答的問題皆非常直觀,例如影響學生轉學的原因、從入學到畢業的修業長度;或是預估未來校務經營趨勢,例如招生、財政規劃等,以回應公部門、評鑑組織、董事會、校務首長、各系教職人員等的需求。

2.高度敏感的工作氛圍:從學生學習成效表現、教職員工作滿意度、財政分析、註冊人數預估等,都與一所大學的經營管理績效相關,因此校務研究工作本身具有高敏感性,以及步調急速的工作壓力等特徵。此行業之高薪的另一個意義是「專業」代表能解決問題、承擔重任,並具抗壓的能力。

3.專業支持:正因為前兩項工作領域特質,因此專業同僚間的支持、技術分享、專業協會的支援與輔助、人際網絡橫向連結、資訊流通等就更顯其重要。

以筆者自2006年起參與美國校務研究年會或暑期活動的經驗而言,除了中國留學生而後居留美國者,鮮少有來自亞洲國家的人員出席,更遑論臺灣的同胞。原因即在於高教研究領域尚待開發,相關知能尚在形成中。可以預見的是,未來大學自我評鑑將是一項契機,引導大學正視校務經營的專業知能,影響治校與永續發展的能力。

◎參考文獻

Ball State University. (n.d.). Institutional effectiveness. Retrieved form http://cms.bsu.edu/about/administrativeoffices/effectiveness

 列印 |  轉寄好友 |  Top |  回首頁

本期目錄
-本期目錄
單元相關文章