ChatGPT原理與應用開發 簽名版

郝少春

某AI大語言模型公司的算法工程師，開源組織Datawhale成員；擁有7 年算法和工程架構經驗及豐富的項目和產品經歷，涉及文本、音頻、視頻、圖像等多種模態。

 

黃玉琳

上海財經大學碩士，京東算法工程師，開源組織Datawhale成員；從事智能供應鏈領域的算法研究及應用工作；主要研究方向為機器學習、自然語言處理、運籌優化。

 

易華揮

四川大學華西醫院生物大數據中心的科研助理，開源組織Datawhale成員；主要研究方向為多模態表徵學習及其在醫學影像分析中的應用；發表頂會論文3篇。

第 1 章　基礎知識——大語言模型背後 1

1.1　自然語言背景 1

1.1.1　語言是智能的標誌 1

1.1.2　從圖靈測試到ChatGPT 2

1.2　語言模型基礎 6

1.2.1　最小語義單位Token 與Embedding 6

1.2.2　語言模型是怎麼回事 8

1.3　ChatGPT基礎 14

1.3.1　最強表示架構Transformer設計與演變 14

1.3.2　生成語言模型GPT進化與逆襲 18

1.3.3　利器強化學習RLHF流程與思想 25

1.4　本章小結 30

 

第 2 章　相似匹配——萬物皆可Embedding 31

2.1　相似匹配基礎 31

2.1.1　更好的Embedding表示 31

2.1.2　如何度量Embedding相似度 36

2.2　ChatGPT接口使用 37

2.2.1　Embedding接口 37

2.2.2　ChatGPT+提示詞 40

2.3　相關任務與應用 41

2.3.1　簡單問答：以問題找問題 42

2.3.2　聚類任務：物以類聚也以群分 50

2.3.3　推薦應用：一切都是Embedding 55

2.4　本章小結 64

 

第3 章　句詞分類——句子Token都是類別 65

3.1　句詞分類基礎 65

3.1.1　如何對一句話進行分類 68

3.1.2　從句子分類到Token分類 71

3.2　ChatGPT接口使用 72

3.2.1　基礎版GPT續寫 72

3.2.2　進階版ChatGPT指令 77

3.3　相關任務與應用 82

3.3.1　文檔問答：給定文檔問問題 82

3.3.2　模型微調：滿足個性化需要 94

3.3.3　智能對話：大語言模型=自主控制的機器人 106

3.4　本章小結 117

 

第4 章　文本生成——超越理解更智能 119

4.1　文本生成任務基礎 119

4.2　文本摘要 121

4.2.1　什麼是文本摘要 121

4.2.2　常見的文本摘要技術 121

4.2.3　基於OpenAI接口的文本摘要實驗 123

4.3　文本糾錯 131

4.3.1　什麼是文本糾錯 131

4.3.2　常見的文本糾錯技術 132

4.3.3　基於OpenAI接口的文本糾錯實驗 135

4.4　機器翻譯 136

4.4.1　什麼是機器翻譯 136

4.4.2　常見的機器翻譯技術 137

4.4.3　基於OpenAI接口的機器翻譯實驗 138

4.5　本章小結 144

 

第5 章　復雜推理——更加像人一樣思考 145

5.1　什麼是復雜推理 145

5.2　復雜推理能力的激活和改善 147

5.2.1　初步評估ChatGPT的推理能力 147

5.2.2　復雜推理能力的激活 150

5.2.3　大語言模型復雜推理能力的改善 156

5.3　大語言模型復雜推理能力的探討 168

5.4　本章小結 170

 

第6 章　工程實踐——真實場景大不同 172

6.1　評測：決定是否上線的標準 172

6.1.1　為什麼評測 172

6.1.2　NLU常用評測指標 173

6.1.3　NLG常用評測指標 175

6.2　安全：必須認真對待的話題 178

6.2.1　前/ 後處理 178

6.2.2　提示詞 179

6.2.3　可控文本生成 179

6.3　網絡：接口調用並不總是成功 180

6.3.1　失敗 181

6.3.2　延遲 182

6.3.3　擴展 183

6.4　本章小結 185

 

第7 章　局限與不足——工具不是萬能的 186

7.1　事實性錯誤 186

7.1.1　錯誤示例 186

7.1.2　原因分析 188

7.1.3　解決方法 189

7.2　實時更新 190

7.2.1　問題示例 190

7.2.2　原因分析 191

7.2.3　解決方法 192

7.3　性能瓶頸 193

7.3.1　背景描述 193

7.3.2　原因分析 193

7.3.3　解決方法 194

7.4　本章小結 194

 

第8 章　商業應用——LLM是星辰大海 196

8.1　相關背景 196

8.2　影響分析 197

8.3　商業賦能 198

8.4　本章小結 204