Hi 讀者,
今年的 CES(消費性電子展)結束了,你有看到特別喜歡的新產品或新科技嗎?我在《華爾街日報》讀到一篇專欄文章〈What if You Never Had to Charge Your Gadgets Again?〉,談到一項已經開發多年、今年有出現在 CES 參展產品的太陽能電池技術——染料敏化太陽能電池(dye-sensitized solar cell),我想可以跟各位讀者分享。
文章指出,這項太陽能電池技術近期在能源轉換效率上有顯著進展,光靠室內光源也能有效充電,加上過去幾年電子產品在使用電池上更有效率,文章指出一些電子產品未來可能不再需要接上電源就能有效充電、使用,例如你的滑鼠或是智慧家庭產品。(當然,作者也提醒大家不要期待這種電池會出現在智慧型手機裡,但市面上已經出現搭載這種電池技術的耳罩式耳機。)
Titan
[optin-monster-inline slug=”hlq7r8kikxf7imrv22xq”]
[中] Matt Yu/AI 學習筆記:看 OpenAI、Tesla 人工智慧專家深入淺出 LLMs 技術的概念與趨勢
原文連結|閱讀時間:10-15 分鐘
OpenAI 創辦團隊成員之一、前 Tesla 人工智慧的資深總監 Andrej Karpathy 在 2023 年 11 月發表了一支一小時的影片〈Intro to Large Language Models〉(大型語言模型簡介),很快就累積超過百萬收看次數,這支影片主要可分為三個部分:第一段先介紹 LLMs 的運作與訓練方式等;第二段討論到 GPTs、多模態(Multi-Modal)等 LLMs 未來的發展方向;最後一段探討了提示詞注入、越獄等 LLMs 的資安議題。
本文是作者 Matt Yu 的學習筆記,他在文中所做的整理主要聚焦在第二段、與 LLMs 未來發展方向有關的部分。例如多模態、客製化 GPT,甚至談到以 LLMs 為核心程序(kernel processes)的作業系統。Andrej Karpathy 在影片中提到,他認為目前的 LLMs 只擁有系統一的思考模式,但目前也有團隊正在努力讓 LLMs 朝擁有系統二思考能力的方向前進。(此處的系統一、系統二指的是諾貝爾經濟學獎得主、心理學家 Daniel Kahneman 在《快思慢想》一書中提到的兩種思考模式,Matt 在文中有進一步說明。)
我們很推薦讀者收看 Andrej Karpathy 的完整影片,如果對他這個人感興趣,Matt 也推薦讀者可以收聽《Lex Fridman Podcast》第 333 集,節目中 Andrej Karpathy 不只講解人工智慧領域的各種技術的概念、討論他在特斯拉負責電腦視覺團隊,以及跟 Elon Musk 一起工作的經驗,還提供了一些建議給對於深度學習領域感興趣的聽眾。
[英] Kevin Chen/為什麼說無人卡車其實比無人計程車更難做?
原文連結|閱讀時間:10-15 分鐘
當我們談到自動駕駛,一般來說開在高速公路上的長途卡車,其駕駛環境會比小客車在市區平面道路駕駛來得單純:沒有十字路口、不用應付雙向的車流,道路周邊的環境也比較不複雜,一輛大卡車可能開上一百公里都不會遇到一個路人⋯⋯簡單來說,對自動駕駛技術的要求看似比較低,對吧?先不論商業經營的難度(一般認為無人卡車也比 B2C 的無人小客車,例如無人計程車,在商業上可行性更高),「做無人卡車應該比較簡單」這個想法似乎沒什麼問題。
但本文作者 Kevin Chen 告訴我們事情沒那麼簡單。Chen 是一位工程師,目前在 Nuro 這家無人駕駛電動車新創公司擔任技術主管。他在文中指出,相較於無人計程車公司如 Waymo 和 Cruise 已經在城市街道行駛百萬英里了,為什麼無人卡車還辦不到?更何況人類駕駛在開卡車上有其他限制,例如最多一天只能駕駛 11 小時、連續駕駛八小時後必須休息至少 30 分鐘等等。Chen 在本文做了詳細的說明,認為從技術層面來看,無人卡車其實更難做,「在高速公路行駛無人卡車」更是難度最高的挑戰。
舉例來說,行駛中的卡車完成煞車需要花更多時間與更長的距離,考量到路面與氣候狀況,卡車搭載的感測器功能要比小客車更強才行,Chen 指出現階段感測器(光達、雷達和攝影機等)加上機器學習的訓練方式還不足以應付無人卡車的需求。而且由於卡車還拖著貨櫃,操控方式與面臨的困難跟小客車很不一樣。Chen 也在文章後半段花費很大的篇幅提到高速公路上特有的挑戰,其中一個很特別的是「高速公路的路況太『無聊』了」,儘管軟體開發因此可以少一些功能,但是在關鍵的模型訓練難度跟成本反而都提高了。
(與本文無關,Chen 先前寫了一篇拆解 Rewind app 的文章也相當受歡迎,對這個號稱「人生搜尋引擎」(可搜尋你在電腦上看過、聽過、說過的內容)的軟體感興趣的讀者可別錯過。)
[英] Ben Thompson/紐約時報的 AI 機遇
原文連結|閱讀時間:20-30 分鐘
自從 ChatGPT 和同類型產品進入市場以來,一直都有關於版權相關的爭議,最近一次是《紐約時報》在 2023 年的年底向 OpenAI 與微軟提告,指兩家公司在未取得授權的情況下,使用紐時的報導內容作為文本去訓練模型。這起官司對於產業未來發展很可能會有重大影響,好比 2000 年初期 Napster 一案對數位音樂產業的發展。本文是知名分析師 Ben Thompson 做的分析,值得關注 AI 發展的讀者閱讀。
紐時對這件官司寫了一篇詳盡的報導,指出 OpenAI 與微軟不僅未經授權、免費使用他們的報導來訓練 AI,還反過來跟紐時競爭可靠的資訊提供者角色,不僅造成紐時在商業上的損失,甚至還損害紐時的品牌。例如 ChatGPT 會「記住」紐時過去的報導內容,紐時發現只要給出幾段報導的文字做為 prompt,ChatGPT 就會生成整篇幾乎跟紐時報導原文一模一樣的文章。(紐時在訴訟文件中提出了一百個這樣的例子。)
另一個狀況則是與我們過去介紹過的紐時旗下產品評測網站《Wirecutter》有關,紐時指出微軟旗下搜尋引擎 Bing 結合 ChatGPT 技術提供給讀者 Wirecutter 的評測內容(並且去掉聯盟行銷連結),導致 WIrecutter 網站流量與營收降低,更甚者,因為 AI 的幻覺問題,會在聲稱是紐時提供的資料來源中加入根本沒有出現在報導中的資訊,比如說 Bing 聲稱是紐時報導的「15 種有益心臟健康的食物」,其中有 12 種根本沒有出現在報導原文裡,紐時認為微軟此舉損害了他們的品牌。
Ben Thompson 在本文深入探討「合理使用」原則,並且將此案與過去的類似案件進行比較,例如過去 Google 因為掃描書籍提供讀者全文檢索引發訴訟的案子。他在文末指出紐約時報的價值應該是每天持續產出高品質的內容,因為將來網路上的內容很有可能因為生成式 AI 的關係,品質變得比今日更差,而紐約時報網站和報導內容將因此變得更有價值。他請讀者想想看,就算 GPT-4 提供了正確度 95% 的 Wirecutter 內容,誰知道哪 5% 是錯的?這只會讓紐約時報成為更具權威性的來源。
[英] Swizec Teller/軟體工程師,你的薪水從哪裡來?
原文連結|閱讀時間:5 分鐘
這篇短文的作者 Swizec Teller 是一位資深軟體工程師,目前在醫療保險新創公司 Tia 擔任 tech lead。Teller 採取一種特別的角度來看待軟體工程師的日常工作、職涯與影響力,認為所有軟體工程師的薪水來自以下「三種預算(budget)」的其中之一,而這些來源會對你的工作與職涯帶來不同的影響。
- 銷售與行銷(sales/marketing)
- 研究與開發(research and development)
- 維護(maintenance)
以第一點來說,如果你是在成長(growth)部門,你的工作成果很容易量化和測量;一位成長工程師(growth engineer)的工作會被要求要有立即的效果。這樣的好處是你的工作成果很可能直接與業績相關;壞處就是當你的工作成果容易衡量時,也就容易被拿來比較,競爭就會比較激烈,容易遇到「Joe vs Jane」而非「Joe 跟 Jane 合作解決問題」的狀況。至於如果你是屬於第三點的,可能就要小心了。
閱讀更多內容,請看《RISE-UP 科技人才升級週報》各期目錄。