LLM 問世後，企業對 LLM 普遍有 3 個期待：優化個人或單一部門的工作流程，更自動化，有更高產能；提高跨部門協作的效能與品質；導入既有產品、設計與開發 AI 產品。然而對企業來說，能將 LLM 導入「跨部門協作」與「產品」，才是發揮它最大的價值，達到真正的成功。但過程中可能會遇到哪些困難與挑戰？怎麼解決？ALPHA Camp 邀請 Brian 與 PJ 分享他們的經驗，更提供關鍵思考與建議步驟給大家參考。
LLM 如何強大？是解決問題的萬靈丹？
Large Language Models (LLM、大型語言模型) 有兩個劃時代的強大能力：第一，從一段文字中擷取資訊；第二，根據訓練資料，生成新的文字。
LLM 在「資訊格式化」與「判斷文字情感」的能力，是以前軟體技術完全做不到的。它能解決很多過去解決不了、需要大量人工處理的問題，像是：判斷商品評價是正面還是負面、分析上市公司的新聞內容做摘要等。
所以 LLM 問世後帶給人類很大的情感衝擊，人類驚覺電腦竟然會說人話，也開始神化它，說它已經有智慧了。
在頂尖跨國企業 G 擔任 Solutions Engineer 的 Brian，與打造百萬次瀏覽《ChatGPT 指令大全》並擔任《 2023 Generative AI 年會》講者的 PJ，率先提醒我們兩件事：
- LLM 很強大但並非解決問題的萬靈丹。在「擷取資訊」與「生成文字」外它都做不好，它的侷限很明顯，更沒有我們一開始預期的那麼厲害。
- 不是有了 LLM，企業就能解決當初遇到的所有問題。這種期待不切實際。
Brian：解決問題前，先確認要解決什麼問題
Brian 負責產品優化與除錯工作，也在執行導入 LLM 到既有產品的任務。
他提醒在導入 LLM 前，一定要記得 LLM 只是一個工具。
當你想用 LLM 解決過去解決不了的問題時，應該先思考到底要解決什麼問題？(Brian)
當你確認要解決什麼問題，也理解 LLM 擅長的事情與適合幫你的地方時，LLM 才能發揮最大價值。
PJ：關注解決問題與透過 Design Thinking 框架思考
PJ 專攻深度學習與影像處理，是 Octave 酉是數位科技創辦人，協助許多企業導入數位服務，也是 ExplainThis 的 Co-Founder。
他分享，當你知道 AI 的強項為何，與如何拆解工作流程與步驟讓他去執行，你就有機會導入 AI 來優化產品。在思考如何導入 AI 時，要考慮是想要替換什麼內容以及實現怎樣的功能。
但工程師和產品經理應該先專注解決問題，例如做好既有服務，而不是著重 LLM 能搭建多麼厲害的架構和節省多少的成本。(PJ)
若想要用 LLM 打造產品，那在寫第一行程式碼前，可以用 Design Thinking 框架來思考：為誰而做？要解決什麼問題？(PJ)
專家引路，讓 AI 成為你的專業能力：AI 元年，你最不能錯過的 AI Your Summer 系列活動
跨部門協作會遇到的困難與挑戰？LLM 能幫上什麼忙？
跨部門協作，可能會遇到以下幾個挑戰：
- Domain Knowledge 不同，所以無法有效的溝通
- 部門間文件取得不易，資訊不流通
- 本位主義，捍衛自己的部門利益為主
例如，客服與工程師之間的溝通困難，因為客服不懂技術，無法將客戶的問題轉譯成工程師能有效解讀與處理的資訊；而工程師可能也無法將他從中遇到問題，轉譯成客服能理解的資訊，讓他向客戶說明。
PJ 說明在這樣的情境下，LLM 能發揮的地方就很有限。所以，LLM 到底能在跨部門協作的哪些地方幫上忙？
在回答問題前，PJ 建議大家先瞭解與思考 AI 到底是怎樣的一個工具？
LLM 最根本是一個語言模型，擅長做「語意分析」與「文字生成」。往上拉一層來看，它在處理的事情就是「文字底層」，也就是人與人溝通的最基本媒介。所以 LLM 能協助我們的事情，就是降低我們之間的資訊落差，提高溝通效率。(PJ)
拉回團隊協作，當後端工程師看不懂前端的文件或程式碼時，可以先請 ChatGPT 解讀。當後端工程師能理解前端的文件或程式碼時，就能提高雙方溝通效率了。
企業案例：用 LLM 加速解決客戶問題
Brian 分享他在頂尖跨國企業中導入 LLM 的經驗：他們非技術背景的第一線 support team (技術客服團隊) 透過 LLM 的協助，提供更符合工程師需求的資訊，有效加速了解決客戶問題的效率。
具體來說，他們利用 LLM 引導客戶釐清問題、提供 support team 除錯方向、解決初步問題與寫 bug report (以客戶問題描述為基礎，加上除錯、鎖定問題過程的報告)。
目前導入 LLM 的成效與體驗還不錯，幫助 support team 解決了 50% 的問題，它的貢獻幾乎和團隊既有解決問題 SOP 的前幾個步驟差不多。(Brian)
LLM 寫 bug report 的效果蠻好且穩定，能排除真人因受限於語言能力或主觀判斷等因素、產生撰寫品質不穩定的問題。(Brian)
但 Brian 也發現，若問題排除到系統架構、甚至程式碼的層級，LLM 基本上完全幫不上忙。
無論是哪種 LLM 工具，目前都只對寫單一 function 有幫助；要直接寫出完全正確、bug free 的 function 有困難。到專案開發中後期、要規劃整合不同的 module ，它更是完全沒辦法處理。
軟體團隊與 AI 協作的成與敗：Mosky 與 Caesar 兩位資深工程師的實戰經驗與建議
導入 LLM，企業的 3 個準備步驟
在瞭解 LLM 的擅長與適用情境後，PJ 建議企業先從以下 3 個方向開始為導入 AI 做準備。
- 建立資安規範：確保員工在使用 AI 時，能遵守相關的安全規範，避免機密資料外洩。
- 建立基礎設施建立：企業需要建立適合的基礎設施來支持AI的應用。例如，建立自己的 AI 平台，連接企業的文件和資料庫，提供客戶更加客製化和便利的使用體驗。
- 實驗與測試：在安全的環境下讓各部門進行 AI 實驗和測試，開發與驗證 Prototype；再逐步調整和改進。例如，讓客服人員能夠在不依賴工程師的情況下回答客戶問題，或讓財務人員能夠透過 AI 輔助閱讀財務報表。
用 LLM 跨部門協作，從既有的產品與解決方案開始
在實務上，Brian 建議企業可以從「既有產品」與「既有解決方案」開始嘗試導入。
例如，在相對簡單的服務或產品上嘗試，讓 OpenAI API 可以更清楚地掌握每一步所發生的事情。如果無法滿足需求，再考慮使用 LangChain 等其他工具來進一步解決問題。
現在也已經有一些針對 AI 需求設計的資料庫，例如Chroma。其實即便是開發 AI application，很多需求還是傳統的資料庫就能應付，這時候就不一定非要用針對 AI 設計的 database 。
這兩種方式可以降低風險，並在開發過程中更好地理解和評估所需的功能，也能有效掌握成本。
企業導入 AI，需要從上到下與從下到上的理解與行動
就像過去很多企業要導入敏捷開發的過程中，一定會有人反彈與質疑，最後就不了了之。這次要導入 AI 也是。所以 PJ 提醒企業導入 AI，從上到下與從下到上的支持與行動，都很關鍵。
對企業上層來說，要去 Review 大家使用的狀況，從過程中去調整，慢慢的讓員工擁有 AI 思維。反過來說，從下到上的基層夥伴，則是要願意去嘗試新的工具與配合導入。例如，每週撥出一小時的時間共學，慢慢建立 AI 思維。
企業也可將願意嘗試和表現積極的夥伴視為種子，透過他們讓 AI 在組織內慢慢發展和擴大，這樣效果會更好。
KKCompany 怎麼建立夥伴 AI 思維？執行副總經理 Drake：從同理心與共同語言出發
用 Design thinking 框架解決使用者真正的痛點
有 ChatGPT 後很多技術門檻被砍半，你的團隊不再有「技術護城河」，可能跟其他團隊沒有差別。你剩下的價值與高度，會在於有別人沒有的資料、獨到的知識與特殊的觀點，還有怎麼把它融進 AI prompt 裡。
所以在討論 LLM 怎麼導入跨部門協作後，最後 PJ 分享 Design Thinking、這個以人為本的方法論，刺激我們深入思考「瞭解使用者」這個解決問題最核心的事情。
PJ 引導我們從「開一家咖啡店」開始練習。當你是個準備開一家咖啡店的老闆，你要決定要開一間路易莎或是星巴克。接下來，你會開始以使用者的需求出發，進行訪談、整理痛點、發想解決問題的方案、製作原型並進行實際測試等流程。
在過程中，你會瞭解：有多少人有個問題？這個問題對使用者有多痛？你能不能解決這個問題？當走過這個流程與想過這些問題後或許你會發現，你本來以為的問題根本不存在；或是你還會發現，根本不需要用 AI，你就用其他工具去解決問題。
不要先射箭再畫靶，「當你只有一個錘子，所有東西看起來都像一個釘子。」善用 LLM 的最佳方式是釐清問題本身，透過 design thinking 等產品開發的框架，抓緊使用者的問題的本身。
PJ 強調，儘管你手上有 ChatGPT 這樣的工具，不應該盲目地將其應用到各個場景中。重要的是要回到使用者的真實痛點，並以解決問題為導向，這樣才能更好地應用 AI 技術，並為使用者創造價值。
AI 非技術問題，是 product adoption process
Brian 與 PJ 提醒，LLM 只是我們手上的一個工具，要導入到跨團隊協作、甚至打造 LLM-powered 產品，重要的還是要回歸到我們想要解決什麼問題，產生什麼價值。而 design thinking，就是一個很好、很適合起步的框架。
ALPHA Camp 觀察到台灣許多企業的技術開發能力很強，但在導入 AI 到開發工作上，還停留在任務層級，例如如何打造一個厲害的模型。但從 Brian 與 PJ 的分享，我們可以瞭解到其實導入 LLM 並不是技術問題，是「product adoption process 產品的採納過程」。目前導入 LLM 目前並沒有很明確的 best practices，但頂尖跨國企業也正在一步步嘗試應用 LLM，所以重點就是多嘗試。
文章參考 Anna Su 筆記
【GenAI Engineer: LLM 應用開發工作坊】向專家學習，快速掌握完整 LLM 技術和 AI 應用的多項案例
