財團法人高等教育評鑑中心基金會  

 

利用輔導紀錄分析學生未能順利完成學業的原因
文/傅遠智
  賓州州立大學高等教育博士候選人
  教育部高等教育司專員

賓州州立大學(Pennsylvania State University)校務評估與計畫辦公室在2012年執行一項專案報告,名為「利用輔導紀錄分析學生未能順利完成學業的原因」(Examining Adviser Notes of Students Who Don't Succeed)。這項專案報告是該辦公室根據學校校務領導階層的需求,所執行的經常性分析任務之一。這類型的專案報告是以學校本身既有的文字與數字資料為基礎,進一步挖掘導致特定問題的原因,同時也為學校本身的資料收集系統提出改善建議。由於這類專案報告的執行多半來自於校務領導階層的需求,因此,專案報告所做的具體建議,絕大部分會落實在校內措施的調整與安排。

本文蒙賓州州立大學校務評估與計畫辦公室的慷慨相助,同意本文介紹該辦公室在2012年所執行的專案報告。透過本文的分析與介紹,提供實際在美國名校執行的具體個案,以使讀者更為貼近校務研究辦公室專業分析人員的日常工作,並為臺灣發展校務研究提供值得參考的範例。

2012年賓州州立大學專案報告

根據賓州州立大學的內部統計資料顯示,在進入大學階段即選擇賓州州立大學主校區(University Park, UP)的大學部學生,遠比進入其他校區的學生有更高的比例能在六年內順利畢業。雖然如此,在主校區仍有許多學生未能在六年內畢業或者在中途便離校。而導致這些學生無法順利完成學業的原因相當多元,從轉學至其他學校到因經濟問題離校等各項原因皆有。

本文介紹賓州州立大學校務評估與計畫辦公室在2012年所執行的專案報告,是以入學時選擇大一不分系(Division of Undergraduate Studies),但最終因學業問題未能順利畢業的學生作為資料分析的目標群體。雖然這份專案報告僅針對大一不分系的學生進行分析,但執行本專案報告的分析師認為,這些學生因學業問題最終未能完成學業的原因,與入學時即選擇特定學系學生的情況是相似的,因此本專案報告的分析結果仍足以適用於全校學生輔導措施的改善上。

以數據資料及輔導紀錄作為分析核心

美國大學校務研究辦公室在執行各項專案報告時,除特別重視數據資料的周全性與可靠性,為能在茫茫的資料欄位中找尋線索,仍需要參考既有理論或實證研究的發現,才能確保分析結果的邏輯性。

賓州州立大學校務評估與計畫辦公室分析師在執行本件專案報告時,即是以Tinto在1993年所提出導致學生離校原因的理論模型(Longitudinal Model of Institutional Departure)作為執行分析作業的理論參考。在Tinto的理論中,影響學生決定離開學校的因素包括:個人背景特質(例如:家庭背景、入學前的能力)、入學的期待與目標、就學期間的學習經驗,以及個人在大學校園中融入社群以及學業任務的程度。

依照Tinto的主張,融入學校社群以及學業程度較差的學生,比較有可能無法如期順利完成學業。而眾多既有的實證研究也按此一思路,將分析的焦點聚集在學生同儕間,以及學生與教師間的互動品質與關係。然而,經常為關注此一問題的學者及校務研究辦公室分析人員忽略的是,學生與學生輔導員間的互動品質,在學生融入學校生活的過程中所扮演的角色也至關重要。

執行本件專案報告的分析師將學生與學生輔導員的互動品質作為分析的核心,反映了美國大學的現況。在高度專業分工的美國大學校園裡,學生輔導員專門負責學生學業與生活的輔導工作。此類專業人員除了本身具有輔導專長外,因其比一般教師更了解學校輔導資源以及行政措施,再加上經常採取與學生個別面談的方式,在提供有適應問題學生的輔導功能上,也比教師有更好的效果。正因為美國大學校園內學生輔導員的專職身分,其所做的各項輔導紀錄往往能提供校務研究辦公室人員較佳的分析素材。而此也正是本文想藉此一案例提醒讀者,校務研究辦公室分析師在分析時,並不單單僅限於分析數字,文字作為數據資料的本身,若能有系統性的進行收集、整理與分析,亦能為有效分析學生學習經驗帶來寶貴訊息。

透過橫向整合的資料數據倉儲系統  調閱與分析資料

如同前面的介紹,本件專案報告的目的在於分析導致賓州州立大學主校區大一入學選擇不分系學生最終未能順利畢業的原因。而數據分析的來源除了既有的學生數字資料外,較具特點的是,校務評估與計畫辦公室的人員使用學生輔導員對學生所做的輔導紀錄作為挖掘問題的素材。

首先,校務評估與計畫辦公室的分析師調出在2010年秋季班以及2011年春季班因學業問題而退學的學生,他們在入學之後的各次學習輔導紀錄(Advisers' Notes)。

接著,分析師使用賓州州立大學內部建置的資料倉儲系統,搜尋了這些學生在數據上是否具備某種共同的特質。分析師從資料倉儲系統調出的資料欄目包括:性別、國籍、戶籍地、入學時是否為24歲以上(adult learner)、是否為退伍軍人、美國大學入學考試SAT的字彙與數學成績、語文或數學能力是否有缺陷、科學能力評估指標、是否為大一不分系學生、是否加入兄弟會或姊妹會組織(Greek life)、第一學期成績總平均(Grade Point Average, GPA),以及不及格學分數(Deficiency Points Earned)等。

賓州州立大學校務評估與計畫辦公室為本件專案報告執行數據調閱作業的速度與效率,為臺灣發展校務研究作了一個正面的示範。讀者若仔細思考上述被徵用作為分析素材的資料欄位,對比臺灣的大學行政分工,本件專案報告所徵用的資料已涉及到教務處中的註冊與課務業務,以及學務處的學生輔導。以一個已完成橫向整合的資料數據倉儲系統,針對特定學生族群的數據調集工作,若依照結構化查詢語言(Structured Query Language, SQL)的作業方式,往往只消數個作業指令即能完成。

作者曾有機會與加州大學系統校長辦公室校務研究員常桐善博士巡迴拜訪臺灣的大學,即親眼見到在網路連線許可的環境下,常博士即能透過網路安全性以及身分認證,進入遠在加州的資料倉儲系統,擷取所需要的數據回答臺灣聽眾的提問。因此,校務研究辦公室其實結合了當代與資料科學有關的重要技術,不僅僅是統計分析的技術,還包括雲端資料庫等。也正由於資料處理硬體服務不斷的升級,讓校務研究分析師能將寶貴的時間用於分析,而非用於瑣碎的資料收集與確認,更非耗盡心力在為了取得資料而進行橫向部門的溝通協調事務中。

分析結果

由於數據分析來自於學生個人在各項指定欄位上的數字資料,以及學生在學生學習輔導員處所留下的輔導紀錄,校務評估與計畫辦公室在呈現本報告時,也是依照數字與文字兩部分呈現研究的發現。

● 學生的成績變化

首先,為了確認因學業問題而未能順利畢業的學生是否具有某種共同特質,校務評估與計畫辦公室的分析師共調集了2,992筆的學生資料,其中67人為因學業問題未能順利畢業的目標群體,而作為比較組的2,925人則為順利完成學業的學生族群。兩群學生在各項數據欄位的數值與比例,讀者可直接參閱專案報告的表五到表七。整體來說,學生身分(是否為退伍軍人、年紀是否大於24歲、是否為國際學生等)並不影響學生能否順利畢業;未能順利畢業的學生,其入學的SAT成績確實較順利畢業的學生低;另未能順利畢業的學生在第一學期GPA平均僅有1.69,低於順利畢業學生的3.13。

在最後一個學期中,這些學生的累積GPA從前一學期的1.36退步到1.19。67個學生中只有4人累積GPA高於2.00,而其中最高的成績為2.42。在倒數第二個學期,這些學生的GPA平均為1.16,到最後一個學期GPA平均則下降至0.71。這些數據資料顯示多數學生在最後一個學期來到之前即有學業困難,而這情況從入學的第一學期即存在並延續到最後一個學期。

● 學生與輔導員的互動情形

此外,本專案報告的表八則分析了未能順利完成學業的學生與學生學習輔導員的互動次數。而這也是本件專案報告極具啟發性的巧思。

根據輔導紀錄,2010年秋季班退學的學生平均與學生輔導員共會談3.5次,收到2.3次學術建議通知(Academic Reviews),並有7.8份輔導紀錄建檔,期中退選1.9堂課。而2011年春季班退學的學生平均與學生輔導員會談2.8次,收到2.2次學術建議通知,並有6.8份輔導紀錄建檔,期中退選1.5堂課。

從這些學生接收到學術建議通知的次數與時點來看,學生輔導員顯然早已經由這些學生的學習成績表現注意到這群學生有學習困難。

這些學術建議通知平均在最後一個學期開始前7.2個工作天,即發送到這些學生的學生學習整合系統eLion。雖然大多數的學生在學期開始之初即接到通知,建議學生與學生輔導員安排會談,但67位學生之中只有52位透過電子郵件、電話、安排會談等方式,確實與學生輔導員聯繫。

而以時間點來說,平均在最後一個學期開始後57.4個上課天(calendar days),這些學生才首次與學生輔導員聯繫。以一學期116個上課天來看,這些學生聯繫學生輔導員的時間點多已在期中。雖然還不是很清楚為什麼這些學生會延遲這麼久才與學生輔導員聯繫,但按照時間點來看,他們首次聯繫學生輔導員的時間點正落在學生開始選下一學期的課程作業時間段。

● 學生學習輔導紀錄個案分析

本件專案報告中的表十一呈現了兩名學生的學習輔導紀錄。表格中的1/04/10:elion ACADEMIC REVIEW,是賓州州立大學內建的elion系統對學生的通知,elion功能接近於臺灣許多學校的Moodle教學管理系統與e-portfolio的總和,但在功能整合性上更強,所有針對個人個別性的學習輔導訊息,均會透過elion通知學生。另外,表十一中,2/10/10的訊息則是學生輔導員在與該名學生會談後所做的紀錄。而這些關於時間點以及會談內容的資料,甚至誰與誰會談的事實性資料,都是校務研究人員分析的寶貴素材。

以學生A為例,其在紀錄中表示,他因在校外工作時數太多以致無法專注並多花時間在學業上。而學生B則表示,自己始終無法確定想要攻讀的領域,以致於無法專心於學業。在針對67位未順利完成學業學生的輔導紀錄分析後,本件專案報告得出了幾項初步發現。

首先,在這些未能順利完成學業的學生中,部分學生由於個人及家庭問題,使其無法專心於課業。而部分學生則是在學習及處理其他非關課業(例如工作)的事情上,時間管理出現了問題。另也有部分學生是因難以決定到底該選擇主修哪一個領域,並因無法達到進入有興趣領域的學業要求,導致持續盲目選課而無法專心課業的惡性循環。就此67個案例來說,要指出到底是何原因導致這些學生最終離開學校並不會太難。

● 輔導紀錄的品質問題

本件專案報告在使用這些輔導紀錄後,指出了另外一個關於輔導紀錄品質的問題。在許多案例中,校務研究分析師無法從輔導紀錄中確定關於學生成績不佳、收到早期預警報告或期中棄修等議題是否曾在會談中被提及。學生多是在成績明顯退步後才與學生輔導員會面,因此關於成績退步的問題應該是會談的重要議題,但對照該次的輔導紀錄,卻沒有學生與學生輔導員在成績退步議題方面的討論。相似的,輔導紀錄也未記錄關於學生輔導員建議學生考慮轉到更適合其程度的分校區,而這個選項通常是學生輔導員在輔導成績退步的學生所會做的建議。

當然有可能這些問題確實在會談過程中曾被提及,只是沒有忠實的被記錄,但也有可能這些關鍵問題根本就沒有在會談中被討論。倘若是前者,此種訊息不完整的結果將導致後續接手的學生輔導員難以確認歷次學生遭遇的問題已被有效解決。倘若是後者,學生輔導員則需要接受更好的輔導專業訓練。

校務研究專案報告提供重大發現

整體而言,本件專案報告呈現了幾個重要發現。首先,這些未能順利完成學業的學生,通常在入學的第一學期即出現學業困難的問題,其平均GPA為1.69。而根據輔導紀錄內容的分析,雖然這些學生入學時SAT成績較低,但真正導致其學習困難的問題卻與本身的學習能力較無關連,反而是與學生個人及家庭狀況、無法平衡學業與其他任務,以及未確實遵從學生輔導員的輔導建議等因素有直接關係。

GPA持續無法提高是這些學生遇到學習困難的警訊,但即便如此,這些學生在遇到問題時仍鮮少主動尋求學生輔導員的協助。除此之外,包括經常性收到學校預警報告、經常在期中退選課程、經常性臨時取消與學生輔導員會談,以及未確實遵從學生輔導員建議到教學輔導中心或選擇課程等,都是學生輔導員可用來辨識出這些學生的行為特徵。

目前賓州州立大學的校內政策,對於遭遇學習困難的學生仍是賦予學生高度的自主性,由學生自己決定是否使用校內資源來解決自己的學業問題。然而,根據本件專案報告所分析的資料顯示,這些學生即使意識到自己的問題卻不會真正採取適當行動。若要使這些學生確實使用校內資源來解決自己的問題,需要學生輔導員擁有較多的權力來介入學生的學習安排。例如學生輔導員能主動調整學生的日程表,或者與教授共同商議後對學生施以留校察看等,這些措施實施的目的在於促使學生嚴肅的面對自身問題。

另從學生輔導事務的推動來看,目前學生輔導員的輔導紀錄,仍有許多改善的空間。如同前面提及的,似乎有某些重要的問題並未被記錄在輔導紀錄中,這將使得學生輔導員間難以持續掌握學生前一次會談涉及的問題是否真的已被有效解決。

校務研究人員的重要職責

賓州州立大學校務評估與計畫辦公室的案例除了展示從資料分析到具體建議的過程外,本件案例也有助於讀者從以下兩個方面更進一步體會校務研究的精髓:

● 點出問題,直言不諱

首先,校務研究人員的工作是協助大學持續改進服務。校務研究首重以專業及正直的態度,協助大學面對服務上不足之處。本件專案報告中,校務研究分析師不避諱指出學生輔導員在輔導紀錄上存在的缺失,以及現行學生輔導員的權力受限,導致學生輔導員的功能難以扮演更積極的介入角色。這份專案報告是公開於校務評估與計畫辦公室的官方網站,所有人都可以直接下載閱讀,這種對外負責的態度,正是不迴避問題,並告知外界校方已知道解決問題的方法,體現了美國大學辦學資訊公開的治校精神。

● 資料倉儲系統應持續改善

其次,校務研究人員的工作是持續改善資料倉儲系統。資料倉儲系統是校務研究分析人員的命脈,然而,資料倉儲系統在設計之初總有掛一漏萬的情形,唯有透過持續不斷的使用才能發現缺失之處。本件專案報告突顯出文字紀錄完整性的重要性,這對於臺灣正以後發之姿發展資料倉儲系統的大學來說,足堪借鏡。讀者必須體認到建置完成的資料倉儲系統必須持續不斷的使用與改善,才能與校務需求持續磨合,分析的效益才能真正回到提升校務的工作上。

◎致謝

本文的完成歸功於賓州州立大學校務評估與計畫辦公室分析師Nick Warcholak及Alexander Yin慷慨提供資訊,並同意本文作者介紹其在2012年所執行的專案報告:Examining Adviser Notes of Students Who Don't Succeed。本件專案報告的全文可直接在賓州州立大學校務評估與計畫辦公室官方網頁下載。若有詮釋報告上的錯誤之處,均歸於本文作者責任。

 列印 |  轉寄好友 |  Top |  回首頁

本期目錄
-本期目錄
單元相關文章