UX 實務經驗談:教育與科技

UX 嚴格上說起來並不是一新的技術領域,而是一管理方式的革新。敝人的創業與工作經驗多來自於教育產業,這次希望透過分享過去的實務經驗來探討如何在新創公司中管理UX流程。

現代科技業中討論到的 A-B 測試(A-B Testing),其實是學術研究中的實驗方法的極簡版。而在採集和分析任何實驗資料時,我們最擔心的就是效度(Validity),粗略的釋義就是實驗結果是否有參考價值。內部效度(Internal Validity)討論的是一實驗中的對象所產生的資料是否支持結論;外部效度(External Validity)討論的則是實驗方法在實驗對象同族群其他個體上是否會支持相同的結論;最後,環境效度(Ecological Validity)討論的則是實驗的方法和對象之族群是否能在真實世界情況下支持相同的結論。

打個比方,若今天我們在測試早睡是否真的會影響成績。內部效度討論的是我們實驗中的學生是否會因為早睡而比晚睡的同學拿到更高的分數;外部效度討論的則是若任何同學年的學生(或所有學生)參與類似的情況下是否都會因為早睡而拿到更高的分數;環境效度討論的是當學生在現實生活中的學校內是否能透過早睡而拿到更高的分數。

不難理解在做 UX 時,最大的挑戰就是了解我們觀察和實驗的對象到底具有多少代表性?

講到這裡,容小弟我打個岔,先聊聊我自己身處的產業 - 教育。

開過車不代表會設計汽車、搭過飛機不代表會鑄造引擎、吃過藥不代表有資格去開工廠製藥。教育說起來是個很有趣的產業,因為從未接觸教學、教育研究工作的家長、學生、畢業生,卻都以為自己有能力去改善教育。

至此,教育產業碰到的問題(尤其是UX問題)往往比其他產業更複雜,也更難看清楚。

敝人創業前曾在卡內基梅隆大學的人機互動研究從事教育科技研發,故此,敝人在教育界的經驗多來自於學術和業界,而非從業(教學)。學術與研發背景有一大劣勢,那就是我們周遭所有人的教育程度都太高了。學術界的研究人員多半出身中高收入的書香世家,除非特別去研究弱勢教育,否則多以社會菁英的角度在看待教育需求。教育心理學(如今逐漸與其他學科融合成為"學習科學")中所提及的動力和自律能力,社會菁英與一般大眾通常未能給予應得的重視,而將教育的重點放在知識內容和授課方法。

為了深入了解我的潛在客戶(老師與學生),我造訪了私立、公立學校,也會晤訪問了許多校長、學務長、教師與學生。

在創辦我第一家公司(互動式教學系統公司)時,我對教育的熱忱在於透過數位化的探索式教學來激發知識轉移(例如將數理觀念應用在人文或商業)並促進自主思考。這個目標在實際了解不同社區和經濟背景的學校後,受到了相當程度的打擊,原因在於我對教育的認知有了突破。

過去我和許多人一樣,認為好的教育在於好的教學內容、體驗和設施,因此我曾經將許多精力放在教學內容的呈現和內容數位化。然而在實際參訪紐約不同社區的私立與公立學校後,事實明朗了:其實一位學生的用功程度、學習成果和自主思考的意願,幾乎和特定的教材和方法無關,反而跟學生生長的社會和人文環境有直接的關係。換句話說,沒有獨立的教育問題,只有社會問題。知名私立學校的學生不是真的特別聰明或是特別優異,而是其從小的家教和養成的價值觀使其能夠勇於思辨反駁和追求;反過來,偏鄉學校或美國城市中貧民區的公立學校的學生也不是天生資質較差,而是從小到大的社會教育使其認為自己樣樣不行,也不理解透過教育和學習來鞏固更好的經濟來源和社會地位。

問題不是給每位學生網路、電腦和互動式教學內容就可以解決的。

所以,當我們在思考教育的使用者經驗時,若從完全線上教學和科技化解決方案的角度去探討,其實我們已經失敗了。

在其他產業中我們也會看到同樣的問題。同樣的電子平台,可能因為不同文化中人與人之間的互動方式差異,而有不同的營運成果,這種問題我們在訂桌服務、團購、叫車、交友等產業中都出現過。

所以在進行任何UX工作前,我們必須先確立一非常重要的觀念,那就是你的產品其實不是科技,而是如何用科技去改寫社會族群的互動模式。你改變的不是介面,而是文化。

洞察人心的矛盾點 – 深入 Startup UX 訪談技巧

解決方案成敗並非來自於產品成敗

我為了工作進入學校觀察公立學校學生和老師的互動。當時2012年,其實學習的線上平台很多:多媒體教學平台有LearnZillion、可汗學院;語言教學有 Duolingo、Rosetta Stone;記憶卡系統有 Quizlet、Brainscape、Smart.fm 等。而這些平台還只是近年來的新寵兒,要論各類教學平台的技術,ThinkThroughMath(原 Apangea Learning)於2005年已開始提供全互動式教學;互動式教學的鼻祖之一 Carnegie Learning 創立至今已十八年。學術界扶植的如 MIT OpenCourseWare、MathTutor、Assistments 等平台都有十年以上歷史。現代的教育科技產品相較起十年前,除了在介面和數量上改進以外,技術和方法上未見長足進步(甚至有退步的現象)。

既然現代的教育科技平台之核心技術在十年以前就已經產品化,為何至今教育科技還未普及?(拿呼聲最高的可汗學院來說,美國有二十多萬所公立學校,可汗學院至今市佔率仍不到1%)

一廣為流傳的說法是:"老師們食古不化(或偷懶),不願意接受和學習新科技"

為了深入了解教育科技的普及化瓶頸,我與其他團隊成員到了公立學校觀察研究一般課堂和課後補救教學的教育科技使用狀況。

首先,如預期的,學校中有一批老師是抗拒科技的,但這些老師多半都已經接近退休年齡。而這些即將退休的老師之後的X世代老師都時常使用電腦與手機,許多老師在教室中使用科技的意願都相當高。

那究竟為什麼教育科技在學校中仍未普及?

主要有幾個盲點。

首先,先前討論過內部效度和環境效度的差別。幾乎所有的教育科技平台都是以"學生可以坐在螢幕前乖乖地遵循指示學習"為前提,然而現實生活中,不管是幼兒教育還是高中教育,幾乎沒有學生會遵循教學平台的只是獨立學習。那究竟是誰在管理學生的學習呢?

沒錯,就是家長和老師。

所以第一個最根本的問題就是多數教育平台的設計前提中並沒有考慮到學生的自然行為,自然沒有把老師和家長跟學生的互動納入思考的框架中,因此在這前提下設計的教育平台通常在現實生活中都無法發揮作用。

第二,我們要探討的就是第一點涵蓋的問題之一:學生的動機問題。

或許我們都不想承認,大部分的學生(應該說是大部分人)學習的動機都不是內發性(Intrinsic Motivation,意思就是學習技能本身),而是因為外在的獎賞(Extrinsic Motivation,如獎狀、升學機會等)來刺激學習的欲望。因此,在多數情況下,若純粹只是叫學生做習題大部分學生會覺得枯燥乏味。故此,包含可汗學院和 Duolingo 在內的許多教育平台都內建了"獎章制度"來刺激學生學習。

然而"獎章制度"這類外在獎賞有兩個很大的潛在問題,第一就是若獎章的分發制度和學習的過程沒有密切關聯,學生常常會選擇較容易的課程、不願意嘗試新的題目,透過作弊或小聰明來取得獎章(Gaming the system);第二就是,過度使用外在獎賞,反而會讓原本自動自發的學生對於這些無意義的獎賞感到厭倦(Over-justification effect),反而降低繼續使用平台的意願。目前多數教育平台(尤其是由純科技而沒有教育背景的人才設計的平台)使用的獎章制度其實對於學習是有害的。

最後一個值得我們思考的問題,就是既然多數學生的學習是由家長和教師鼓勵和管理,那教育平台的目標應該是跟這些"教室管理"或是"學習管理"的流程整合,幫助老師和家長在最短的時間內為學生創造最大的學習效益。而管理學習並不是單一步驟,而是要不斷地進行評量、內容學習、複習、再評量才能夠幫助學生突破盲點繼續成長。

然而,絕大多數的教學平台都是以獨立作業的型式發表。這代表每個平台都有自己的成績單格式、自己的登入帳號、自己的通訊方式、自己的密碼規則等。試想一位專科老師(還不是級任老師唷!)教個數學可能就必須使用五個以上的內容學習平台,除此外還必須要有通訊平台、成績單系統等,而這些系統幾乎都沒有互相整合(註:目前最大的教育用帳號平台Clever約有四萬所學校,相當於20%的市佔率。但注意這數字純粹是"有使用"該平台的學校,而不是軟體整合的比例)。

若今天一教師在課堂中(假設45分鐘),一開始的十分鐘到十五分鐘必須用在應付各種電腦啟動和平台登入的疑難雜症(任何問題處理時間乘以學生數量,通常是20人左右),而最後的十分鐘則是要求學生全部登出、交還電腦或平板,等學生們安靜下來才能交代作業。所以實際上老師一堂課能夠用在教學的時間不到二十分鐘。而下課後,老師又需到教學平台上下載資料,而這些資料格式通常和成績單系統的格式不同,因此老師必須手動計算和輸入數值。這些都還沒有計算老師分析資料、準備教材、出習題的時間,這些都是學生下課回家後後老師還必須花時間完成的工作。反觀今天若老師出紙張試卷,不但省下一開始的啟動和使用時間,最後的資料輸入和處理時間也能有效縮短。

很諷刺吧!原本應該要能夠輔助學習的教育科技,卻因為多數廠商(包括新創公司)設計初衷拘泥於自己的產品而忽略了教育中的師生互動、家庭互動的絕對重要性,使得年輕老師使用教育科技的興趣缺缺。

在研究這些互動過程後,我們會發現解決方案要成功,不是產品本身成功而已。

參與流程,不如精進流程

先前討論到了社群互動在教育的絕對重要性,我們團隊便開始研究如何去針對師生互動去設計互動式學習平台。

在訪問多位老師後,我們得到以下結論:學年初,一班級內的學生能力不一,有學力超越該年級、適合該年級和低於該年級的學生。老師必須透過評量去深入了解學生的能力差異和個別的知識盲點。由於老師的時間有限,無法在課堂上個別輔導每位學生,因此只好採用單一講堂、單一教材的方式來確保學生有接觸到必修教材,但這也意味著有些能力稍差的學生無法跟上進度,而進階的學生也無法善用時間進修更高階的學習內容。這種評量、學習、複習、再評量的個人化學習過程由於時間限制而打折扣,因材施教成了義務教育最大的困難點。

在研究這問題的同時,我的團隊掌握快速建置個人化學習互動教學系統的關鍵技術,也擁有小四至高一的課程內容。但如果我們純粹將這學習系統交給老師和學生使用,這平台只是促進知識學習,卻無法有效解決老師無暇管理個人學習過程的難題。

故此,要建立一套能夠有效幫助老師的系統:

1)知識內容和互動式習題不應為固定評量(正確題數除以總題數),因為這樣使得進階級學生擁有名列前茅(例:9/10 = 90%),而能夠有效學習後達到同樣學力水準的學生卻無法翻身(前面錯三題,之後融會貫通全部只錯一題,不論怎麼努力也只有 6/10 = 60%)。故此,系統應採用動態的能力評量(Mastery Tracing),學力強的學生只要能連續正確解題,便能快速過關(或晉級),而其他學生則依解題的方式與規律增減練習的時間長短,直到學生能連續正確解題為止,以達到學習時間的個人化。

2)知識內容不應同質。我們不應該要求所有的學生都重複練習同樣的習題:若一學生進行分數加減偶而出錯,該學生可重複練習分數加減;但反觀若一學生完全無法轉換分母,該學生應先複習分母轉換,學成後再回到分數加減。同樣的教材硬塞無法確保所有人都能吸收,因此系統應該針對學生的知識盲點而進行學習過程的學習結構性的個人化。

3)講堂時間應與學生學習成果及時連結。目前老師在批改作業或考試前,完全無法了解學生前天是否有吸收。這樣產生很大的問題:因為老師在講課時還沒有機會批改昨天的作業,也代表當天的講堂一定有學生無法吸收。故此,由於互動式系統能夠在學習時間和知識結構上進行分析,系統應能夠針對學生們的共同盲點加以分組,並且將此分組報告在課堂前交給老師,讓老師知道課堂中有那些疑問,先行講解、確保學生跟上進度後,再進入下一題目。

4)最後,既然系統能提供老師在管理課程所需的資訊,下一步就是要從資訊分析自動化(Automated Data Analytics)走向決策支持自動化(Automated Decision-Support)。這意思就是:與其告訴老師要對那些學生做那些題目上的額外輔導,系統應該針對各群組的知識需求去設計新的互動式學習路線和額外學習內容,將決策建議(Decision Recommendation)交給老師。這樣一來老師只需審查系統尋找的內容、增加新的內容便能夠給不同的學生不同的作業,並且追蹤每位學生的進度。在教育學家的術語中,這叫做輔導介入(Educational Interventions)的自動化。

後來,這套系統誕生了,目前服務數千間教室與十幾萬名學生,並持續成長中。當然,這套系統離有效解決學習和教堂管理的問題還有很大一段距離。但由於我們團隊與學校的直接合作,這套系統能有效地幫助老師達到"因材施教"的目標。

激發教育還是教育激發

在我的第一家教育科技 Startup 被一上市教育公司併購後,我離開公司組織了一新團隊研究如何用人工智慧和自然語言處理科技,來設計一能夠和幼兒對話的教育用智慧型玩具。(後來變成了一隻會講話的綠色小恐龍。

為了要了解幼兒教育,新團隊來到了幼稚園來研究幼兒的學習過程。而這次驚人的發現,是幼兒和基礎教育學習的目標和社群互動模式的差異。

習慣設計基礎教育(1-12年級)產品的我,認知中的老師是在管理學生的學習過程(言下之意就是學習的目標是知識)。

但幼兒教育卻不是如此:

由於幼兒的心智成熟度低,任何師生互動都是學習過程。而相對於基礎教育,幼兒在情緒和行為上的學習成分遠大於知識學習。

知識學習的前提是"建構知識"的能力。幼兒對於語言、空間、數量以至世界各物的認知尚淺,並沒有能力去形容和理解知識內容。故此,幼兒的數學是以實體物體的歸納和重組為主,而幼兒的語文則是以給物體正名、孰悉字元、與情緒連結等為主題。

幼兒由於自制能力弱,並沒有辦法有效控制專注力。因此幼兒的教學內容設計的重點在於顏色、形狀、行為、態度等地運用和拿捏,而不是實際的內容。學習過程的重點在於提升學習動機和意願,而非正確性。

幼兒有諸多生理限制。如四歲的孩童多半無法靈活運用手指,因此在用手指比示數目時,幼兒在嘗試比"四隻手指"時會不由自主地伸出第五隻手指。此外,許多七歲以下的學童無法發出捲舌音(如英語的 ”th” 和中文的 ”ㄖ”)。因此在活動設計上必須要特別注意。

由此可見,在教育界亦隔行如隔山。新的年齡層代表截然不同的互動模式和需求。最後此智慧型對話玩具在募集種子基金後另外在群眾募資平台 Kickstarter 上募集二十七萬五千元美金(約九百三十萬新台幣),可望在今年春季推出首款產品。

限於文章篇幅,敝人不贅述。

結語:木馬破敵

回到敝人先前的一句話:沒有獨立的教育問題,只有社會問題。

敝人至今在教育相關產業(研究與新創)已服務約九年。這期間在執行和管理UX流程時,碰到最大的挑戰往往都是設計師和客戶對於社群互動的認知差異。因此,在現實世界中做 UX,敝人相信最重要的實務理念為:

少做多聽。意思不是叫你不做,而是像我們這些年輕人常常在不懂得產業現狀時就妄想要革命。先聆聽,再分析,後集思,最後才是開工。

用最少的資源去獲得最多的資訊。創業界常常誤導新人,在還沒有頭緒前就先做 Prototype。如果用問卷可以得到答案的話,請不要浪費時間畫圖;如果畫圖可以解決,請不要浪費寫程式。UX 的時間要用在刀口中。

UX 訪問要有結構和計畫。從認知心理學的角度來看,人很多的行為跟我們的專注力、記憶方式、知識有關。UX 訪問不是坐下來問問題而已,用使用者的認知和行為模型進行分析和沙盤推演很重要。若準備工作沒有做好,UX 常常會變成套自己想聽話,這種假資料對設計一點幫助也沒有。一小時的訪問至少需要兩小時的準備和分析工作。

UX 不是 UI 而已。你解決的不是介面問題,也不是單一產品的問題。永遠要記得你解決的是互動問題,你的產品不是技術也不是軟硬體,而是互動模式。若以為設計一套工具就解決問題是見樹不見林。

與其提供決策者資訊,不如輔助決策的產生。換句話說,不要只告訴使用者會議時間,請幫使用者分析大眾運輸、計程車和共乘服務的時間和經費,並建議甚麼選項能讓使用者用最少的金錢準時到場。自動化的目標不是產品本身,而是使用者的日常生活流程。

切記,有別於書本 UX 和課程中的 UX 技巧,UX 實務其實最注重產業知識,多研究使用者社群與其互動模式能讓你在該產業更有價值。

分享這篇文章希望能拋磚引玉。

Photo credit: Merrimack College