本文是愛語言創辦人 Ted Chen 整理他在 2023 年學習關於大型語言模型的知識與歷程,原文刊載於他的電子報《ChatGPT 落地研究 | Ted》,ALPHA Camp 獲得授權刊登。本文圖片皆由 Ted Chen 繪製。
前言
隨著年終的到來,大家紛紛回顧過去一年的成就與經歷。對我而言,今年因為大型語言模型的興起,讓今年成為了一個很特別的一年。在如今的學習環境中,只要你有學習的渴望,網路上便有豐富的資源等著你,只是網路上學習有時候常會淪為片段,尤其是像 ChatGPT 出現時,這樣的知識爆炸情況,更讓人學習起來有點不知所措,但是大家的相同的熱衷,卻也無疑提供了無限的學習機會。
今年,我也做了一些特別的事情,出於對大型語言模型的深刻興趣,我在短時間密集的閱讀了許多相關文章,並然後在接近年中時,參加了 iT 邦幫忙的鐵人賽。
雖然我不敢自稱取得了什麼驚人的成就,但透過這樣的參與,我得以整理並鞏固了上半年所學的知識。如今一轉眼間竟然也到年末了,我想順應這股回顧潮流,再次回想,如果我是一名初學者,我可以如何從淺入深,逐步理解這個領域的知識。
這就是我重新整理這篇學習歷程的初衷,希望對同樣對此領域感興趣的人提供一些幫助。
學習地圖
下圖的概念架構是我對大型語言模型應用程式開發的整體理解後,以及我認為的合理學習步驟(階段)。在每個階段,我都會整理三類資料供大家參考。第一類是【鐵人賽文章】,這些是我在鐵人賽中所撰寫的文章,反映了我當時對這些主題的理解和觀點。
【推薦閱讀】則包括了我閱讀過且認為對於理解各個階段概念最有幫助的文章或影片。
至於【補充資料】,則包含了一些相關但較為次要的內容。這些資料或許在理論深度上不及主要資料,但同樣啟發思考,值得一讀。
LLM 觀念建立
- 鐵人賽文章
- 推薦閱讀
- 【生成式AI】ChatGPT 原理剖析 (1/3) — 對 ChatGPT 的常見誤解 (youtube.com)
- 【生成式AI】ChatGPT 原理剖析 (2/3) — 預訓練 (Pre-train) – YouTube
- 【生成式AI】ChatGPT 原理剖析 (3/3) — ChatGPT 所帶來的研究問題 (youtube.com)
- 【生成式AI】快速了解機器學習基本原理 (1/2) (已經略懂機器學習的同學可以跳過這段) (youtube.com)
- 【生成式AI】快速了解機器學習基本原理 (2/2) (已經略懂機器學習的同學可以跳過這段) (youtube.com)
- 【生成式AI】Finetuning vs. Prompting:對於大型語言模型的不同期待所衍生的兩類使用方式 (1/3) (youtube.com)
- 【生成式AI】Finetuning vs. Prompting:對於大型語言模型的不同期待所衍生的兩類使用方式 (2/3) (youtube.com)
- 【生成式AI】Finetuning vs. Prompting:對於大型語言模型的不同期待所衍生的兩類使用方式 (3/3) (youtube.com)
- 補充資料
Prompt Engineering 入門
- 鐵人賽文章
- 推薦閱讀
- 補充資料
Prompt Engineering 進階
- 鐵人賽文章
- 推薦閱讀
- 補充資料
- Prompt engineering techniques with Azure OpenAI – Azure OpenAI Service | Microsoft Learn 微軟官方 Prompt Engineering 教程
LLM 應用服務系統開發方法
- 鐵人賽文章
- [D9] 我的第一個聊天機器人 – 實做規劃 – iT 邦幫忙::一起幫忙解決難題,拯救 IT 人的一天 (ithome.com.tw)
- [D10] 我的第一個聊天機器人 – Chat Bot 基本架構 – iT 邦幫忙::一起幫忙解決難題,拯救 IT 人的一天 (ithome.com.tw)
- [D11] 我的第一個聊天機器人 – 訊息分類處理 – iT 邦幫忙::一起幫忙解決難題,拯救 IT 人的一天 (ithome.com.tw)
- [D12] 我的第一個聊天機器人 – 外部資料的整合 – iT 邦幫忙::一起幫忙解決難題,拯救 IT 人的一天 (ithome.com.tw)
- [D13] 我的第一個聊天機器人 – 回應訊息檢查 – iT 邦幫忙::一起幫忙解決難題,拯救 IT 人的一天 (ithome.com.tw)
- [D14] 我的第一個聊天機器人 – 回應訊息功能評估 – iT 邦幫忙::一起幫忙解決難題,拯救 IT 人的一天 (ithome.com.tw)
- 推薦閱讀
- 補充資料
LangChain 入門
- 鐵人賽文章
- 推薦閱讀
LangChain 進階
- 鐵人賽文章
- 推薦閱讀
大型文件處理技巧
- 鐵人賽文章
- 推薦閱讀
RAG 與向量資料庫
- 鐵人賽
- 推薦閱讀
對話以及 QA 應用
- 鐵人賽文章
- [D22] LangChain 專題實做 – 簡易問答機器人 – iT 邦幫忙::一起幫忙解決難題,拯救 IT 人的一天 (ithome.com.tw)
- [D24] LangChain 專題實做 – 「例句學習」教材生成 – iT 邦幫忙::一起幫忙解決難題,拯救 IT 人的一天 (ithome.com.tw)
- [D25] LangChain 專案實做 – 記憶單元的探討(上) – iT 邦幫忙::一起幫忙解決難題,拯救 IT 人的一天 (ithome.com.tw)
- [D26] LagnChain 專題實做 – 記憶單元的探討(下) – iT 邦幫忙::一起幫忙解決難題,拯救 IT 人的一天 (ithome.com.tw)
- [D27] LangChain 專題實做 – 路由鏈介紹 – iT 邦幫忙::一起幫忙解決難題,拯救 IT 人的一天 (ithome.com.tw)
- [D28] LangChain 專題實做 – ChatBot 的整合(上) – iT 邦幫忙::一起幫忙解決難題,拯救 IT 人的一天 (ithome.com.tw)
- [D29] LangChain 專題實做 – ChatBot 的整合(中) – iT 邦幫忙::一起幫忙解決難題,拯救 IT 人的一天 (ithome.com.tw)
- [D30] LangChain 專題實做 – ChatBot 的整合(下) – iT 邦幫忙::一起幫忙解決難題,拯救 IT 人的一天 (ithome.com.tw)
- 推薦閱讀
- Auto-GPT 是什麼?完整的 Auto-GPT 安裝與使用方法詳細介紹 – 蘋果仁 – 果仁 iPhone/iOS/好物推薦科技媒體 (applealmond.com)
- 一文读懂:AI Agent究竟是什么?-虎嗅网 (huxiu.com)
- 2023年新生代大模型Agents技术,ReAct,Self-Ask,Plan-and-execute,以及AutoGPT, HuggingGPT等应用 – 知乎 (zhihu.com)
- LLM Powered Autonomous Agents | Lil’Log (lilianweng.github.io)
- What Are Large Language Model (LLM) Agents and Autonomous Agents (promptengineering.org)
- Functions, Tools and Agents with LangChain
- 補充資料
結論
以上的所有連接即為目前我看過的,認為對大家的瞭解學習有幫助的內容。希望這些內容能對大家的學習有助益,也順便祝福大家新年快樂!~ 我們明年再繼續深入更多的其他知識內容!