2017年6月13日 星期二

臺灣大學「eProfessor」教學培訓工作坊 :Part.2 展望篇

在第一屆的課程結束後,部份學員開始在自己的課程中嘗試進行翻轉教室,也進而與身邊的教學夥伴推薦本活動。也因此我們收到了很多師長的報名詢問,他們期望能在工作與教學忙碌之餘的有限時間,也可以把握參與這個精進創新教學的機會。

第二屆活動開始籌備時,創新組參照第一屆的經驗,同時考量學員們的參與期待,嘗試規劃「課程主題系統化」的 eProfessor 課程,並集中時程辦理,以利參與的師長們能在較短期的時程內,達到更有效的培訓。

經由創新組將近半年的討論與設計,2016 第二屆的 eProfessor 調整為集中在假日辦理,共包含一個平日晚上加上兩個週末,總共五日,授課與實習時數共 19 小時。在課程主題規劃方面,有別於昔日每次課程只有兩小時的授課,本次的培訓以「一整日的課程系統化」為規劃方向,並分為五大主題:

  • 觀念前導篇:翻轉教室的基礎入門觀念
  • 教學工具篇:翻轉教室的實用工具,包括影音剪輯軟體、Google 表單等
  • 教學企劃篇:影視表達練習、翻轉教室前的問題思考等
  • 教學實戰篇:教學設計模擬、表演力開發等實戰項目
  • 成果呈現篇:成果分享及心得交流

此外在原先第一屆的各課程主題,本次也經過調整,期望提供學員進階的學習體驗。例如以解決問題為導向的教學設計、Google 表單課堂實作等主題,規劃以組內合作的形式,來進行練習與課堂呈現。如此一來,課程主題更加的活潑,也加深了小組間的學習動力。

各核心課程之間,也安排「作業回饋時間」與「小組分享時段」,並規劃創新組培訓的「小組助教」到各組間對學員進行課程協助,讓學員們在被妥善關照學習進度的情境中,達到更好的課程參與。


_75A0378.jpg
_75A0279.jpg
_75A9948.jpg
_75A0264.jpg
在第二屆 eProfessor 新增各組助教的規劃,對學員練習帶來很大的幫助。

本屆 eProfessor 還有一個不同於以往的設計,便是透過產學合作,邀請到四位金融壽險業的培訓講師前來觀摩參與,嘗試激盪不一樣的教學可能。

活動後這些業界講師,也分享了他們對 eProfessor 的肯定。一位業師在第五日的成果發表日分享:『我們在產業界只被要求數字,在這邊我們重新找到學習的熱情;翻轉教室原來是兩個層次, 一是「技術的翻轉」,另一個是在這邊我們所找到的「教學心態的改變」!老師的心態要轉變,要更為學生著想 ,我想在這邊我可以帶回去的,便是各位學員提供給我們的精神 !』

第二屆課程的整體回饋高達 4.7 分 ( 5 分量表),40 位學員共有 38 位學員用心完成精實的作業而通過培訓,達到極高完課比率。一位學員如此評論:『非常感謝 eProfessor 全體教學團隊精心設計的課程,五天下來讓我真的獲益良多!希望未來針對課程設計開設進階課程,讓同領域與跨領域教師可以一起腦力激盪、發光發熱!』。

_75A1415.jpg
2016 第二屆 eProfessor 成果呈現發表日,全體學員與講師群合影。


The next step of eProfessor

經過二屆辦理經驗,我們思考著「究竟我們想在活動中的強調的本質,是否有達到我們的設計期望?」

在對兩屆活動後的學員追蹤中,對於我們所關心的「 eProfessor 後的翻轉教室應用情況」,一些師長表示已開始應用翻轉教室在自己的課堂,並希望我們開設更進階的課程內容。然而,不少學員表示有熱忱繼續參與,但因事務繁忙無法繼續執行,期望可以有後續更多的引導與協助。

而在彙整兩屆學員的眾多回饋中,我們觀察到對 eProfessor 的學員而言,有兩個核心要素是他們收穫最豐富的,也是eProfessor有別於其他的教學培訓課程的優勢。這兩點分別是:
  1. 創新教學技術實作
  2. 同儕的學習及交流

這兩點分屬於「扎實的能力培育」與「同儕社群經營的軟實力」,推崇的學習者族群可能不太一樣,未來課程若要持續對兩者做到兼顧,勢必要有所調整或取捨。

歸納上述觀察,參與 eProfessor 的學員一致期望能在自己的課程中加入創新與翻轉,然而希望協助的部分則因教學內容而異。因此未來客製化並區分入門與進階的課程,將會是必然的趨勢,這也是創新教學組之努力方向。

因此在 2017 年第三屆的 eProfessor 活動,我們調整課程定位,開設為期三日的入門課程,期望在一個平日晚上外加週末兩天,提供翻轉教室的「基礎觀念培育」及「初階操作技能的練習」;同時也著手規劃活動後的社群經營,使學員活動後能持續相互切磋。未來,更進階的課程主題則可以針對社群中師長們不同的需求開設專班。

在小而精緻的活動規劃理念下,第三屆 eprofessor學員們在完成了三天的翻轉教室概念與實作練習入門課程後,都回以熱烈意願參與教師社群,讓我們非常敬佩與感動。

期望後續開創的教師社群,能讓有志翻轉教室的教師們保持創新的動力,而落實教學相長及經驗分享的價值,持續點燃彼此的教學熱忱。

IMG_2838.JPG
2017 第三屆 eProfessor 總結日,全體學員與講師群合影。


經過了三屆 eProfessor 教學培訓工作坊的辦理,創新教學組在教學上服務老師的初衷不會改變,期待未來的教學工作中,能持續與師長您相互學習成長!


文/ 孔祥璿
臺大創新教學組 教學製作人
第一第二屆 eProfessor 總籌

附錄  歷屆活動精華影片

第一屆 精華影片 https://youtu.be/65uygOKti70

第二屆 精華影片 https://youtu.be/snt2JIVYL3o




臺灣大學「eProfessor」教學培訓工作坊:Part.1 回顧篇

What is eProfessor?

eProfessor 教學培訓工作坊,是由臺灣大學教學發展中心創新教學組 ( NTUTI ) 主辦的培訓課程, 名稱是由『e 元素』加上 『Professor』,期望能對當前數位 e 世代教師們提供創新的教學技巧。

當前的授課方式,有別於昔日傳統的實體課堂講課。隨著數位學習(e-Learning)的普及,在授課中進行翻轉教室(Flipped classroom)、混成教學(Blended Teaching)等創新教學方法,已成為新一代教學現場的重要趨勢。

面對此教學潮流,創新教學組從參與大規模開放線上課程 ( MOOCs) 的教學設計與影視製作等實務經驗中,取其要點轉化成為培訓內容,於 2015 年首次推出 eProfessor 培訓課程。

Why eProfessor is special?
有別於坊間 e-Learning、簡報力表達、教學策略等強調速成、職能需求的課程, eProfessor 培訓課程以『教學者的教學現場需求』為設計核心,主題包含「數位教學能力」、「以解決問題導向的教學設計」、「社群媒體與班級經營」、「教學表達技巧」等,期望提供給臺大與夥伴院校的教師們具體可行的教學策略。

其次,有別於坊間課程多為個人講師及台上對台下的單向授課,eProfessor 由臺大創新教學組團隊共同規劃,除了在各課程主題有良好的系統性銜接,並在課中搭配豐富的課程操作與分組練習時間,提供學員完整且豐富的學習體驗。

首屆 eProfessor 在 2015 年4月至5月間(4/7-5/26)辦理,共為期八次週二晚上,總時數達16小時。課程內容主要著重於『翻轉教室的方法介紹以及實務操作』,除了邀請第一線執行翻轉教室的師長分享實際執行經驗,並透過經驗分享中帶領學員深入思考現代教師真正的角色及意義。


_75A9740.jpg
2015 第一屆 eProfessor, 邀請具多年翻轉教室執行經驗的臺大電機系葉丙成教授分享,豐富內容廣受學員好評。

此外,關於實作課程主題,是由創新教學組第一線參與教學影視製作的同仁,以昔日眾多的課程製作經驗,推出『教學設計』與『教學科技』兩類課程主題。該課程的目的為透過實務教案演練,協助學員釐清教學上的問題,進而規劃屬於自己的翻轉教學方案與建構課程翻轉影片。其他課程包括,教學的『表演力開發』,讓教師們體驗身處課堂的感覺,如何自錄並練習面對鏡頭;並透過團體分享活動,激發學員們分享教學上遇到的情境及討論應對解法。

為了讓學員課後繼續討論,各週課程後也規劃讓學員在各小組的臉書社群中,進行有趣實用的作業練習。如此一來,學員不會因為下課就中斷學習,而能持續在小組互動中切磋砥礪。較不熟悉使用網路社群的學員,也可從中得到第一線的網路操作練習。許多從未使用臉書的學員,因而學會了網路發文、幫組員按讚、留言分享等,逐漸掌握到新世代的網路互動要領。他們在回饋中表達他們在這部分學習得到的突破與成就感,讓我們很為學員們的進步感動。

上述的課程包括講師、教案設計、課堂引導等,皆由創新教學組成員親自規劃與執行,並在課後搭配豐富的社群及作業練習,讓學員可以在這一系列的學習過程中,掌握到實作要領,進而產生意願投入翻轉教室。該系列課程於學員回饋時得到相當高的評分,42 位學員有高達 38 位獲取結業證明,顯示學員極高的參與意願。

活動後的學員回饋中,更顯示出學員們對此活動的好評。其中一位學員如此回饋:『這是一個檢視自己、提昇自己、改變自己的課程活動以及教學的場域喔!這裡的課程,就像是個旅充,讓我們再次快速充滿電力,繼續為自己下一個課程努力衝刺,奉獻所學,讓學生得到更好的教學效果以及品質,真的獲益良多!』

在學員們的肯定之下,創新教學組的同仁會繼續努力,期待來年再次舉辦 eProfessor 活動,服務更多有志翻轉教室的教師!

2015 第一屆 eProfessor 最後一堂課,全體學員與講師群課後合影。


文/ 孔祥璿
臺大創新教學組 教學製作人
第一第二屆 eProfessor 總籌

第一屆 精華影片 https://youtu.be/65uygOKti70

第二屆 精華影片 https://youtu.be/snt2JIVYL3o



2017年5月31日 星期三

MOOC 中的同儕互評機制(四):如何改善MOOCs中的互評機制--下一代的互評機制

前情提要:如何改善 MOOCs 中的互評機制--評分標準 Rubrics



在上一段文章中,我們看到了rubrics在同儕互評當中的應用。回到「改善互評成效」的初衷,我們還有另外一個努力的方向,就是「改進機制本身」。談到改進機制之前,則不得不先提到「機制設計」這門新興的經濟學分支。

機制設計(mechanism design)可說是跨越經濟學、賽局理論和工程科學的領域。以一個自由交易的市場來比喻,傳統的經濟學觀察並闡釋市場中買家和賣家的行為;賽局理論則進一步透過界定理性和均衡的概念,試圖預測市場未來合理的發展;然而,如果主導市場運作的管理者希望透過制定或修改市場運作的規則,促進某些特定事件的發生、或想將市場誘導往特定的方向前進,機制設計就是告訴管理者如何制定規則的學問,舉凡市場、拍賣、選舉、資源分配都是這門學問的應用範圍。

若以機制設計的角度來看現行的同儕互評,最顯而易見的問題即是:學習者沒有動機將自己的心力投注在同儕互評上。絕大多數的情況中,同儕互評只是一件必須完成的任務,這項任務無論是嘔心瀝血或草率執行,並不影響學習者自身的利益。在傳統的課堂當中,學習者和教學者或同儕都會面對面並長期互動;然而在MOOCs的世界裡,學習者甚至不知道互評中遇到的同儕身分,也不需要對自己做出的同儕互評結果負任何責任。不意外地,正如同賽局理論中單一賽局的均衡總是比重複性賽局來得差一般,MOOCs學習者對同儕互評結果的不滿從未止息(註1)、Coursera的幾位大老更是在探究同儕互評的文章中(註2)公開指出學習者的動機是一個必須解決的問題。直覺上,若能透過機制的改進、讓學習者有動機投注更多的心力進行同儕互評,每個單獨的評分結果都有機會更為準確,而整體的評分亦然。以此為目標,近年來學者們也提出了幾個不同的想法。

首先,加州大學聖塔克魯茲分校的de Alfaro(註34)團隊設計了一套名為「Crowdgrader」的線上評分系統。結合了近年興起的群眾外包(Crowdsourcing)和評分者(grader),這套系統從名稱便不難看出與同儕互評的緊密關係。的確,這個系統最主要的用途就是在各式各樣的課堂當中實現「具動機的同儕互評」。除了將所有人對同一份作業的評分結果進行運算、得到該份作業最終的分數之外,系統還會依據單獨評分和最終分數的差異,對每個人的評分「準確度」進行衡量;而教學方可以選擇讓這個分數成為學習者最終成績的一部分。換句話說,認真地批改別人的作業將可以為自己贏得更多的分數;透過這個簡單易懂的機制,同儕互評就有了動機。

不只如此,Crowdgrader也提供了同儕互評之後的互動平台。學習者在互評的過程中除了打下冰冷的分數之外,也能透過系統傳遞文字意見給原作者;而原作者將有機會做出回應,甚至也有權評估這些意見是否對自己的學習產生幫助。而你猜得沒錯--意見對原作者的幫助程度,也能計入評分者的成績之中。透過這樣的方式,在使用Crowdgrader的班級當中,學習者們對自身成績以及制度的滿意程度幾乎和教學方人工批改相當。

有別於將評分表現計入成績,萊斯大學(註5)的另一個團隊則採取不同的方式創造動機。在他們的實驗中,學習者會針對評分者的表現給予回饋;雖然評分者的表現不影響自身的成績,然而經過收到回饋、同時為別的評分者的表現打分數的「二次評分」的過程,他們在往後的作業中互評的能力也有所提升。無論是成就感、名譽或比較心理,在學習的過程中確實存在著成績以外的重要元素,而他們的研究也說明了分數不僅是動機的唯一來源。

相較於創造動機,Coursera發源地、史丹福大學的團隊(註6)則探討如何在慣用的平均、中位數等計算方法之外,創造更精準的分數計算原則。由於MOOCs平台上的資料都會被詳實紀錄,藉由觀察學習者在不同課程、或同課程不同作業中的評分表現,我們也許能夠得知學習者的評分傾向:是否傾向打高分、低分;評分結果是否總是和最後結果相去不遠;甚至是否有國籍、族群上的偏好,都有可能從這些資料中被分析得知。如果能利用這些對學習者的「深入了解」,對將來他們的評分進行必要的調整,抽離個人的評分傾向,整體的評分是否能夠更為客觀準確呢?如果能事先得知哪些評分者的表現較為優良(也就是結果較為「準確」),是否能夠在計算平均的時候,給予這些優良評分者更多的權重?透過統計模型的分析,作者們認為這些都是極有可能的。

上述的方法雖然美好,但也可能引發爭議。過去的傾向是否真的能反映未來傾向、不同評分者獲得不同權重是否具正當性,都是值得釐清的問題;而抽取傾向的過程中涉及的種族、國家、性別等概念,更是容易觸碰禁忌。此外,這樣的機制也有過於複雜、不透明之虞,難以使學習者信任。也許是因為這些待克服的難題,Coursera現今的同儕互評還是以簡單的平均作為計算方式。但無論如何,這些研究都展示了下一代的同儕互評機制的可能性--我們可以期待更能準確並客觀的評量方式出現。

文/柯劭珩 


註1.Cho, K., Schunn, C. D., & Wilson, R. W. (2006). Validity and reliability of scaffolded peer assessment of writing from instructor and student perspectives. Journal of Educational Psychology, 98(4), 891.
註2.Piech, C., Huang, J., Chen, Z., Do, C., Ng, A., & Koller, D. (2013). Tuned models of peer assessment in MOOCs. arXiv preprint arXiv:1307.2579.
註3. de Alfaro, L., & Shavlovsky, M. (2014, March). CrowdGrader: A tool for crowdsourcing the evaluation of homework assignments. In Proceedings of the 45th ACM technical symposium on Computer science education (pp. 415-420). ACM
註4. de Alfaro, L., & Shavlovsky, M. Dynamics of Peer Grading: An Empirical Study.
註5. Lu, Y., Warren, J., Jermaine, C., Chaudhuri, S., & Rixner, S. (2015, May). Grading the graders: Motivating peer graders in a MOOC. In Proceedings of the 24th International Conference on World Wide Web (pp. 680-690). ACM.
註6.Piech, C., Huang, J., Chen, Z., Do, C., Ng, A., & Koller, D. (2013). Tuned models of peer assessment in MOOCs. arXiv preprint arXiv:1307.2579.





2017年5月16日 星期二

【轉貼】“eProfessors” at the National Taiwan University

By the courtesy of the Teaching Innovation Unit at the Centre for Teaching and Learning Development of the National Taiwan University (NTU), TELI participated in a professional development programme entitled “eProfessor” that was held on April 29-30, 2017 – the Labour Day long weekend. We have heard about the magic of this bootcamp from Professor Benson Yeh (former Director of the MOOC Project in NTU) for a couple of years – but seeing is believing.
Success factors of NTU’s e-learning professional development programmes
  • Blended with a Facebook closed group for pre-event communication and community building
  • Intensive face-to-face sessions focusing on participatory learning
  • Genuine sharing of successful and failing experiences by both invited speakers and participants
  • Real-time support from organizing team: from video production to instructional design – prompt follow-up on the spot
NTU
Some 30 teachers showed up at the training. Before the face-to-face programme began, they were asked to prepare a Facebook post with a short smartphone-quality clip telling their fellow bootcamp members two things about themselves: one that is true, one that is false. The purpose is twofold: to get some experience about video-taking, and to break the ice in the group. As Rick Levin said, watching yourself on a screen could be horrifying for first-timers – so this pre-event assignment seemed to be a good warm-up exercise for everybody.
å
The highly participatory bootcamp features hands-on exercises, group work with peer-feedback, workshops and experience sharing. The topics included:
  • Flipped classroom and peer-to-peer learning
  • Practical lessons from pioneers of flipped classroom teaching and learning
  • Instructional design for problem-based learning
  • Pedagogical skills in an e-learning environment
  • Tools to facilitate the visualization of teaching and learning materials (e.g., DIY video making software)
The intensive face-to-face sessions might look demanding, but they equipped members with the necessary skills and supporting network to jumpstart a forward change in technology-enriched pedagogical practices. In his sharing of flipping a civil engineering course, Professor Huang Yin-nan said it is important to have partners in an e-learning journey. Collaboration and interaction facilitate reflective practice, and provides an emotional safety net when teachers are in doubts and encounter frustrations. “We share both successful and failing experiences. In fact, very often we learn more from the latter,” he told the participants.
Throughout the “eProfessor” initiative, challenges are matched by support. The 10-people strong Teaching Innovation Unit at the Centre for Teaching and Learning Development provided comprehensive support on-the-spot: from setting up closed groups on Facebook for your course, to getting filming equipment ready for lecture recording. They have also produced excellent tutorials for teachers’ self-learning. Here is a sample on proper lighting for video-taking:
https://youtu.be/V3pevaUNle0
Thank you NTU, we have so much to learn from you
編輯員:廖園園

2017年5月9日 星期二

MOOCs Explorer 的探索之旅:第四章 - ME 工作筆記 - 課程前導調查

回顧文章:MOOCs Explorer 的探索之旅:第三章 - ME 工作筆記 - mini MOOCs


前瞻的課程前導調查是臺大創新教學組的 ME (MOOCs Explorer,為創新教學人才實習計畫之實習生) 所負責的任務之一。在介紹課前調查如何執行之前,先跟大家講解為什麼會需要有課前調查。

差異化

臺大為了確保所製作的 MOOCs 有一流的品質,在開設每門 MOOC 前都必須有詳盡的規劃。其中非常關鍵的元素是「差異化」,意即能夠做出一門獨一無二的 MOOC。因此,在課程設計時,必須先了解目前在各大平台的同主題課程是如何開設,同時思考臺大可以如何將課程設計的更有特色。倘若今天臺大的課程與現有的課程沒有差異,對於 MOOC 學習者來說,就沒有動機去選擇臺大開設的課程。而有差異化的課程,能帶給修課者截然不同的修課體驗,也能吸引更多人修課。舉例來說,呂世浩老師所開授的「史記」,不死板地講歷史,更引領修課者學習如何思考,甚至在課堂上不斷啟發學生,也因此被網友評為「最有心的華語 MOOC」。

他山之石,可以攻錯

課程調查除了能讓臺大製作出具差異化的課程,也能讓臺大向其他學校的課程學習。隨著全世界越來越多學校加入製作 MOOCs 的行列,各式各樣創新的課程、學習活動、影視呈現方式等等設計也隨之更加多元與創新。而 ME 們在課前調查時,也會同時彙整這些資訊到創新教學組的資料庫中,做為臺大未來課程設計的參考。舉例來說,同樣是經濟學的課程,有些課程融入蘇格拉底式教學法,安排學生與授課老師對話,藉由對話的過程中講解經濟學的原理;而有另一些課程則融入經濟實驗遊戲,讓修課學生在遊戲的過程中理解經濟如何運作。藉由廣泛探索不同類型的課程,擴充我們對於課程製作的想像,也讓臺大製作出的課程能保持不斷變化與進步。

工作實況

實務操作上,臺大創新教學組會先與開課教授初步討論,取得大方向的共識,而藉由不同的分工一步步地決定課程設計與製作的細節。在確定大方向後,ME 會收到大方向主題,接著著手進行課程調查。課程調查可分為縱向就同一領域調查辨別差異,也可以是橫向從其他領域找尋靈感。在過程中,除了以教學者的角度觀察外,也必須以學習者的角度來思考。我們深信一門課的好壞不在於用了多新的科技,或多特別的教學法,而是學生能否有效學習;因此在課前調查時,我們時時刻刻會思考不同設計對於學習者的影響為何。

在課程前導調查告一段落後,ME 會隨著專案管理師、教學設計師、影視人員參與開課教授的課程製作會議。這場前導會議,主要由臺大創新教學組與開課教授、助教共同討論製課細節。ME 在其中所擔任的角色,就是把課前調查所蒐集來的洞察呈現給開課教授,協助教授在課程設計上的創新與突破。必須注意的是,課程前導調查是一個反覆修正的過程,在過程中 ME 會與教學設計師討論調查方向,並即時調整;在與教授的會議後,也會試著再調查教授想知道的其他方向。

總的來說,要製作出一門有差異化,且符合以學習者為中心的課程,事前的調查與設計是不可或缺的元素。其實,不只是 MOOCs 需要課前調查,即使在傳統的課程中,課前調查也有助於優化課程。

文/ 李俊廷

2017年4月24日 星期一

MOOC 中的同儕互評機制(三):如何改善 MOOCs 中的互評機制--評分標準 Rubrics


前情提要:MOOCs中互評機制的成效與影響

作為互評機制的使用者,我們該如何改善互評機制的成效呢?回頭思考一下互評為何有效:使同儕之間互相評分、再經由某些合計的機制--通常是某種平均的概念--最後得到接近教學者評分的效果。於是,我們至少有兩個大方向可以思考:其中之一是改進機制本身,亦即想出更完善的合計方法,讓作業(或作品)的品質能更準確的被衡量;另一個方向,就是設法讓單一的互評分數更為接近教學者所作的評分。

如果我們著眼於後者,則可以從教學者本身的評分行為開始發想。一個兼具專業知識和經驗的教學者,是如何為創造性作業評分的呢?相信絕少數的教學者是將分數信手拈來。絕大多數的教學者,心中對「怎樣的作品應得怎樣的分數」,是有其原則和標準存在的。若能將這個標準具體化、作為互評的依據,不同互評者做出的評分應該會更趨近一致--這正是所謂的「評分標準」(rubrics)的概念。如同互評並非為MOOCs而生,rubrics亦然;它的使用甚至並不限於互評或自評中,也能用於協調專業人士之間的評分(如聯考中的作文給分)。


若以評分標準的形式來區分,可分為整體性(holistic)及解析性(analytic)兩類(註1)。整體性的評分標準,指得就是對一份作品只打一個綜合性的分數;兩份作品可能各有所長,卻都大致落在同樣的區間內,最後得到同樣的分數。這類的評分標準,通常對某一個分數級別作一段整體性的敘述,通常較適用於作品的整體性較重要、細節上可以容許瑕疵的創造性作業或作品;例如國中會考作文目前採取的六級分標準,就是整體性的評分標準。


解析性的評分標準,則是分成數個面向來評分,不同面向之間的得分互不相關,最後再以某種加權的方式算出總分;這樣的標準會直接標示出各個面向的名稱、以及每個分數層級各自的敘述。如果上述國中會考的作文標準改為分別針對立意取材、結構組織、遣詞造句、錯別字四個項目各打一個分數,最後再整體相加,就會形成解析性的評分標準。和整體性標準相比,解析性的標準可以更為細部的規範一份好的作品應該具有哪些特質,也可以自由調整各面向之間的比重;然而除了使評分變得複雜之外,解析性的標準通常無法處理高自由度、風格濃烈或具爭議性的作品。另外,要求評分者對所有細項分級評分時,不同項目之間無法互補,評分結果之間的差異可能會因此放大;如何設定細項之間的權重和分級,也是棘手的任務。因此,現今主流MOOCs中的互評機制通常還是以整體性的評分標準為主。


那麼,怎樣才是一套好的rubrics呢?Popham在1997年提到(註2),好rubrics應該避免「過與不及」。所謂的「過」,就是指過度注重細節,甚至將無關緊要的小事也納入評分標準;「不及」,則是指評分標準太為空泛,彷彿套用到任何的作業上都能適用。再度以會考作文為例,如果為每年不同的作文題目特別制定一套標準,顯然太過;而如果每個級分的描述就只有「頂尖、良好、尚可、不佳」,則就跟沒有標準無異。好的rubrics應該緊緊扣合「教學者希望學習者展現的能力或達成的目標」,依此概念來調整標準的範圍;此外,在用字遣詞上應盡可能明確、消除歧義的可能性,避免使用詮釋上因人而異的形容詞。


好的rubrics除了能讓評分者共享一套標準、減少主觀的成份,使結果更為一致,還有一個重要的附加效果:它能預先將教學目標傳達給學習者。在著手寫作業或作作品之前,學習者就能得知這個學習活動著重哪些層面;以此作為依據來進行,搞錯重點或不符要求的情形自然會減少。


在MOOCs的世界中,學習者之間異質性高、教學兩方之間還存在時間、空間、甚至語言上的隔閡,這時一套明確的標準就更加重要。另外,MOOCs中的學習者之間也不再像傳統課堂上存在競爭的關係;因此,也有愈來愈多的MOOCs採用單一標準來界定學習者的通過課程與否,而不再特別區分合乎標準的學習者之間孰優孰劣。當教學目標愈趨簡單,採用rubrics作為衡量學習表現的工具就愈有利。
文/ 柯劭珩


下集預告:

如何改善MOOCs中的互評機制--下一代的互評機制


註1.Moskal, B. M. (2000). Scoring Rubrics: How?
註2.Popham, W. J. (1997). What's wrong-and what's right-with rubrics. Educational leadership, 55, 72-75.

2017年4月6日 星期四

影響世界的學習浪潮:從MOOCs到創新教學

一、以使用者為中心:雙向互動模式的大規模開放線上課程(MOOCs)

MOOCs 線上課程 是一種具有完整學習互動系統的線上課程資源,它接納各式年齡層、不同背景領域的學習者,例如你是個終身學習者、想習得第二領域專長的職場工作者,或者正值學生身份的同學們,如有想充實不同知識學科,或是碰上選修不到喜歡的大學課程,都歡迎大家選擇 MOOC 課程作為探索學習、增強能力的「入口」。
MOOCs (大規模開放式線上課程)並非單是放在網路上的課程內容。在教學內容開發上,以「使用者為中心」為核心設計概念,著重考量學習專注程度,重新調整了教學影片的長度與難度、所有知識單元內容經過模組化設計和排列。並且,MOOCs 平臺也逐年開發與探勘不同學習體驗功能,例如使大量的學習者、教師及助教相互交流的「學習討論區」,讓學習者得以依據個人意願和腳步去進行「學習測驗和同儕評量」,甚至提供一套「學習路徑的檢索功能和完整說明」鼓勵並給予學習者在線上學習環境中獲取「修課認證和學分」,使學習者能夠在一個安全且啟發自主動機的線上學習環境去修習一套知識內容。
從另一方面來看,MOOCs 線上教學的產生也為「面對面的實體教學」帶來不同型態的變化和改革。鬆動了制化的教學方法,鼓勵開展「混成學習、翻轉教室」的教學嘗試,幫助學生作差異化學習,為「教與學關係」創造出更多可能性的「互動」。還有,因全球頂尖大學皆積極投入 MOOCs 線上教育,向外輸出具教學口碑的優質課程,這對所有教育者來說不僅提供各頂尖教學典範外,MOOCs 線上教學資源也是一個可運用於實體教學的輔助工具,提升教學效益。

二、NTU MOOC x Coursera :

華語 MOOCs 領航品牌
NTU MOOC 計畫 —— 到創新教學組的推展
於 2013 年 2 月啟動「NTU MOOC 專案計畫」投入 MOOCs 線上教育行列,與 Coursera 正式成為合作夥伴關係。當年度首推了許多經典好課,如電機系葉丙成教授的「機率」,歷史系呂世浩教授的「秦始皇」、「史記」,中國文學系歐麗娟教授「紅樓夢」,哲學系苑舉正教授「希臘哲學」等課程,不僅掀起 MOOCs 線上學習話題,吸引大量學習者註冊課程,更創下 「Coursera 年度華語使用者最愛好課程」的亮眼成績。這些重大成果,奠定了臺大在 MOOCs 華語學習領域的領先優勢,而 NTU MOOC 專案計畫也在 2014 年 9 月,變更組織型態轉為「教學發展中心創新教學組」,期以教學常設單位來作長期經營。工作團隊採取專業分工,包含「課程平臺管理小組」、「教學與學習設計小組」、「影視錄製小組」、「學習推廣小組」。為打造一個創新能量聚集與交流的基地,每位成員來自不同的專長領域,提供各種專長、觀點及經驗,在團隊合作中造就眾多高品質的課程。(非影棚式的錄課形式。臺大 EMBA 執行長謝明慧教授「行銷學」課 )(影棚式的錄課形式。臺大醫學系姜至剛教授「食品安全與毒理」課 )
保持推出各學科領域好課 著重學習內容開發
早期 NTU MOOC 計畫的開課策略,著重推出具中華文化特色的「文史哲經典課程」,以把握「詮釋經典」的教學先機,建立 MOOCs 華語市場的領航品牌。而後,臺大創新教學組也積極開發各專業學科課程,如有「AI 人工智慧」、「程式設計」、「材料力學」、「食品安全」、「少年福利與權益」、「行銷學」、「實驗經濟學」、「青少年心理學」、「工程圖學 CAD/BIN系列」、「機器學習系列」、「東亞儒學系列」等專業課程。此外,也隨著 Coursera 平臺的「學習者體驗功能」不斷升級優化,為此臺大每年規劃將原先的舊課程重新活化,以「問題解決」為教學設計目標,檢視調整教學內容、更新課程中的「學習作業活動」設計,活絡學習互動經營,以使提升學習動機與成效。
而 MOOCs 的教學成效,除了透過學習數據統計了解,每門課程背後也收穫不少來自臺大校友、大陸港澳地區、甚至遠洋海外學習者的反饋和心得評價,例如資訊工程系劉邦鋒教授的「計算機程式設計」裡,不少來自大陸學生提到老師講課非常深入淺出,設計的學習測驗也很充足,另也有教師身份的學習者修了這門課程,對他來說除了獲益良多,也幫助精進自己的教學教材。土木工程系康仕仲教授和謝尚賢教授共授的「工程圖學系列」也廣受初學者喜愛:「…… 教學節奏不會太快、也有實際教學示範,可以一步步練習基本功,沒想到最後以自己初學者之力能蓋出臺灣101建築模型」!
在人文課程中,學生課後回饋更是不勝枚舉,如前臺大人文社會高等研究院院長黃俊傑教授的「東亞儒學:孟子」也遠播到海外留學的學生,一位到加拿大留學的博生:「回國撰寫論文,身旁已無師友可切磋商討,學問寸步難行。所幸可以通過 Coursera 修讀到黃老師的網路課程,讓我重溫臺灣人文學人的謙謙風範,著實提振了我寫博論的士氣」。而著力中國文學經典詮釋與教學的中國文學系歐麗娟教授,在「紅樓夢」、「唐詩」課程裡,更是累積大量來自大陸、港澳地區的死忠學生,對老師最大的讚譽:「是在授課中總是發前人所未發,以新的角度詮釋經典作品,思辨精彩令人留下深刻印象」。還有,中國文學系劉少雄教授「東坡詞」裡讓學習者最為驚豔的是「學習互評作業」,其中不僅有充分的作業指導說明,也細心引導學生:「……寫作業過程是一個審視自我心靈、梳理思路的過程,也是一個和學生互相認識交流的過程,這是最可貴的地方」。
MOOCs 學習推廣計畫,以和平高中為例:
這一兩年間,創新教學組的另一項業務開發是「國內的 MOOCs 學習推廣業務」,除了校園內、大學之間推廣課程資源外,也希望能向高校作推廣計劃。在 2016 年 7 月起,啟動「前進高校 —— MOOCs 學習推廣專案」,合作第一間高校是臺北市立和平高中。此專案目的是透過推廣 MOOCs 給予高校學生嘗試更多元的學習資源與經驗,建議高校生除了利用 MOOCs 進行課外自主學習外,還可作為高校的進階課程、或未來進入大學的基礎學科能力的增強學習,並鼓勵同學完整體驗線上學習裡的所有教學材料與互動活動,通過線上學習測驗獲得 Coursera 與臺大教師共同屬名的「修業合格證書」,為自己的學習歷程紀錄下一項令人深刻的學習事蹟。(和平高中的 MOOCs 學習推廣計劃,課後實體學習活動 )

三、小結:讓教學專注教學 讓創新尋找創新

回顧 NTU MOOC 計畫到創新教學團隊的單位成立,團隊每年的工作目標最終都是回到「保持對教學趨勢的敏銳、探勘與實驗精神」這核心精神去作省思。創新教學團隊並非是個將教學內容影像化的製作團隊,從葉丙成教授創立這 NTU MOOC 計劃的那一刻起,團隊願景就朝向「落實教學創新精神」發展,它是一個臺大「探究教學問題本質、創造學習任何可能價值」的創新基地,是一個具教學研發能力的團隊。這也是為何創新教學組能夠每年推出令人耳目一新且具有真正教學口碑的 MOOCs 的關鍵因素。未來團隊目標也邁前一步,一是透過學習資料分析,了解學習行為和成效、提供證據說明 NTU MOOC 整體課程經營的卓越度和挖掘未來的進步方向。二是發展與外界產學的合作與連結,無論是專業課程可朝向跨域開發、或是將臺大的 MOOCs 實務經驗推廣出去,協助培訓產業中教育訓練的教學人才。
創新教學組始終把握「如何讓教學更符合學習本質」,認同「好的教學是值得推廣」的理念,相信好的教學能改變世界,好的學習是源自對知識和世界的好奇。歡迎臺大校友透過線上學習方式重回母校進修學習與體驗,也希望大家的共同參與與關注,協助我們將臺大的優質教學散佈出去。
文/教學發展中心創新教學組 李妍慧


【歡迎參與關注】
NTU MOOC x Coursera:https://www.coursera.org/taiwan
臺大創新教學組 FB 粉專: https://www.facebook.com/ntumooc2016
臺大教學發展中心: http://ctld.ntu.edu.tw/