財團法人高等教育評鑑中心基金會  

 

校務研究與內部品質保證
文/林靜慧、陳俊宏
  國立中山大學校務研究辦公室助理研究員

校務研究(Institutional Research,簡稱IR)在美國已有50多年的發展歷史,重視以實徵資料為證據作為高等教育校務發展的決策依據,並影響了許多國家對校務研究的推動。此篇文章主要介紹校務研究在大學內部品質保證所扮演的角色與功能,以及在高等教育政策的應用與建議,以確保校務研究在大學追求品質保證的過程達到增值效果(value-added),促進高等教育的永續發展。

美國校務研究的緣起

回溯美國高等教育的發展,校務研究所扮演的角色有很大的變化。在1960至1990年期間,鑑於美國當時高等教育的普及化,學校機構需藉由科學化的研究分析提供校務上的策劃改善,以解決所面臨的壓力及挑戰,因而,此階段IR主要任務在於校務資料的蒐集與匯報(reporting);而早期校務資訊系統的整合度不足,資料呈報的程序往往是相當費時耗力的。

當時IR擔任校園內部許多資料的提供來源,換句話說,IR有很大的角色扮演是在提供學校校務資料以供使用,而非擔任決策幕僚的角色。辦公室人員不會被要求提供建議作為決策或對於資料的使用進行說明;唯有少部分IR辦公室的研究人員會針對特定議題的研究計畫而進行校務資料的使用。

然而,高等教育面臨內外在環境的壓力,對於IR辦公室呈報校務資料的依賴需求量日漸增加。在2010年之後,IR著重的面向有了明顯的轉變,包含了對內提出內部報告給校內領導階層,對外提出符合要求的報告給聯邦與州政府,以及相關利害團體(stakeholders)(例如國際排名機構等),以公開的資料讓社會大眾了解高等教育辦學的表現及各項校務政策的推動。順著這樣的思維,IR漸漸被賦予更重要的角色以協助校內領導階層公正客觀地了解校務資料的價值,提出決策支援系統,講究問責機制,確保大學內部的品質保證及盡到應有的社會責任。

▲ Dr. Robert K. Toutkoushian 認為,未來IR 發展的關鍵在於專責人員的養成及對先端資訊的掌握。(葉耿亞/攝)

校務研究與內部品質保證

究竟IR是否能夠或應該扮演什麼角色以協助達到大學內部的品質保證呢?美國喬治亞大學(The University of Georgia)高等教育中心教授Robert K. Toutkoushian去(2016)年11月在高等教育評鑑中心與臺灣校務研究專業協會所合辦的國際研討會中,提出了這樣的問題讓大家思考。他指出,校務研究的進行涵蓋四個主要關鍵步驟,包含提供政策決定者正確無誤且一致的資料、協助決策者對於資料的詮釋判讀、適度參與問卷評量指標(metrics)的發展及對校務資料做進階的分析運用。

在美國,校務研究辦公室與確保大學內部品質保證有緊密的關係,根據學校對於校務資料的使用及運作機制,IR角色如同一道光譜般可被分為三類,即資訊的提供者、決策的諮詢者,以及機制的執行者。資訊提供者的功能在於早期各大學校院並無特定或正式的評量機制來評估學校的品質及績效表現,所以IR的角色往往是資料蒐集與匯報。

諮詢者意指大學決策階層設定績效表現指標(performance indicators),IR人員再藉由統計方法進行資料分析以評估是否落實品質保證機制;而這些用以測量大學品質的指標可能因校有所不同。當大學發展規模已相對完善且建立特定適切校務指標系統以檢視學校內部品質時,IR辦公室運作的功能轉而為驅動學校品質保證的自我改進機制。美國各大學校院使用特定的評量指標或績效表現指標,來進行內部品質保證的檢視是很常見的現象,而學校也會持續針對這些績效指標追蹤調查與進行校際間的參照比較(benchmark comparison)。

▲ IR在大學的品質保證上能扮演何種角色?Dr. Robert K. Toutkoushian(左)與擔任主持人的國立臺灣大學楊泮池校長拋出問題讓大家思考。(葉耿亞/攝)

校務研究四個關鍵步驟

校務研究在大學追求品質保證的同時,有四個關鍵的步驟,其說明如下:

1. 提供政策決定者可靠一致的資料

IR辦公室須能產出可靠且一致的資料,因此,資料的蒐集及管理相當重要。IR人員在資料處理上,須掌握以下幾個原則:機構內跨單位處室資料匯報格式的統一、資料定義一致性、適度與他校資料進行同儕比較、視覺化分析資料,以及盡可能縮小內部匯報資料的差異。

為確保資料的正確性,宜使用互動式圖表以提供直接點選修改的功能,或增加人力來協助檢視資料的正確性。表一為美國新罕布夏大學(University of New Hampshire) 自1988年到1997年學生入學的畢業率(百分比),在畢業生定義為第一次入學且為全職學生的身分,學生逐年的畢業率呈現穩定的趨勢,但在五年或六年內的畢業率則有稍微下降的趨勢。

表一 新罕布夏大學1988-1997學生入學的畢業率(%)

2. 協助決策者對於資料的詮釋判讀

許多學校的領導階層投入校務研究的時間有限,造成其對於資料分析的產出在理解及詮釋上有所限制,尤其在現今高等教育組織發展呈現複雜化及專業化的趨勢下,IR工作者需要能用簡單清楚易懂的方式呈現資訊,例如圖、表、曲線圖等。針對關鍵的結論,則須能提供精簡的摘要或是重點摘錄,例如用一頁的簡報概要(Executive Summary)取代長篇大論的報告。另外需注意的是,在分析報告中應盡量避免使用專業術語,以免導致對資料的詮釋錯誤或造成更多的困惑。

圖一資料為阿拉巴馬大學(The University of Alabama)自2005-2014年大一新生入學的來源,學生類型依定義可區分為州內、州外及國際學生,IR辦公室將大一新生註冊人數以曲線圖的方式呈現。經由圖一能發現州內學生的註冊人數較為穩定,州外學生則顯著地增加。透過視覺化的結果呈現,有助於決策者的結果判讀及理解。

圖一 阿拉巴馬大學新生入學來源(2005-2014)

3. 適度參與校內評量指標(metrics)的發展

對於高等教育機構而言,使用特定的評量指標,每年定期產出相關報告以達到內部品質保證是相當重要的。必須謹記的是,沒有萬用的評量指標能作為評斷品質「好壞」或「對錯」的唯一依據,每個評量指標都有其優勢及使用上的限制。並且,學校選擇評量指標時應考量資料的可取得性、選取指標是否易被其他因素所影響(例如學生的休退率易受學生的素質所影響)、指標是否存在最佳值,以及指標是否能同時評估輸入(申請人數)、程序(生師比)及產出(授予的學位數)等面向。

雖然評量指標的制定有助於學校整體表現的自我改善及品質確保,但仍有其限制,例如學校很難用特定的策略去調整指標的定義以達預設的發展方向,因指標改變的同時也會連帶影響其他指標的狀態。舉例而言,學校可透過錄取低學習成就的學生來提高學生註冊率,但這相對地也會造成後續高休退及低畢業率的問題。

4. 對校務資料做進階的分析運用

IR辦公室透過資料分析來支援校園領導階層的決策,進而協助確保大學品質。校務議題涵蓋的範圍廣泛,牽涉到的層面可能相當複雜,是故,部分IR議題無法只是採用簡單的描述統計進行分析。IR辦公室的人員需有統計量化研究訓練背景,以便能對資料進行蒐集管理、執行相關調查及分析報告,乃至於改進策略的擬定及推動。同時,IR人員對於高等教育的議題應有一定的敏銳度,能妥善將資料轉化成有意義的訊息,以作為後續決策之參考,並與各行政單位建立良好的溝通合作關係。

IR議題分析的概念,可透過統計迴歸模式舉例說明如下:擇定關注的績效表現指標,根據理論基礎或相關實證研究找出重要的解釋變數X,再藉由迴歸分析結果協助了解如何提升或改善績效表現,進而提升大學品質。

PI=α+Xβ+ε
PI表示學校績效表現指標,
X表示可能影響的相關因素。

未來校務研究的建議及方向

在高等教育機構中,未來校務研究發展的關鍵在於IR專責人員的養成以及對先端資訊的掌握。IR並非典型的研究學科,而是與高教環境變動有強烈關聯的領域,能充分掌握高教環境脈動的資訊,並提早予以因應,才是IR的生存之道。而這樣的任務,有賴於IR人員的專業與素養。IR人員須擁有資料處理、協調溝通以及統計分析等專業能力,並具備充分的素養以發現問題。經由相關期刊的閱讀、工作坊與研討會的參與,以及持續協助機構內校務議題的解決,是IR人員養成的必經過程。

為確保校務研究功能的增值效果,IR辦公室在人員募集、資料整合之後,進一步須能主動發掘關鍵議題,協助機構重要政策的制定,以規劃因應即將到來的高教變遷與衝擊,並領航所處機構的未來發展方向。

◎後記

本文主要內容來自Professor Robert K. Toutkoushian於2016年11月18-19日在「高等教育校務研究國際研討會」之主題演講。Professor Toutkoushian目前任職於喬治亞大學高等教育中心,同時擔任Research in Higher Education期刊的主編與新罕布夏大學系統(University System of New Hampshire)的校務研究中心政策分析執行長,其專長涵蓋經濟、高等教育財務、統計等領域。Professor Toutkoushian曾擔任美國校務研究協會(Association for Institutional Research,簡稱AIR)理事長,在校務研究領域有大量的研究發表,並在2016年出版專書Economics of Higher Education

 列印 |  轉寄好友 |  Top |  回首頁

本期目錄
-本期目錄
單元相關文章