ChatGPT 原理與應用開發

隨著ChatGPT 的出現，大語言模型的能力得到了業內外的認可，新的商業模式不斷涌現，舊的設計和實現都將重構。本書主要介紹基於ChatGPT 開發算法相關的應用或服務，側重於介紹與自然語言處理相關的常見任務和應用，以及如何使用類似ChatGPT 的大語言模型服務來實現以前只有算法工程師才能完成的工作。

 

全書共8 章內容，第1 章介紹與ChatGPT 相關的基礎知識，第2～5 章分別介紹相似匹配、句詞分類、文本生成和復雜推理方面的任務，第6～8 章分別介紹ChatGPT 的工程實踐、局限與不足，以及商業應用，以幫助讀者更好地構建自己的應用。

 

本書以實踐為主，尤其註重任務的講解和設計，但同時也對自然語言處理相關算法的基本原理和基礎知識進行科普性介紹，適合所有對大語言模型感興趣的開發者閱讀。

 

郝少春

某AI大语言模型公司的算法工程师，开源组织Datawhale成员；拥有7 年算法和工程架构经验及丰富的项目和产品经历，涉及文本、音频、视频、图像等多种模态。

 

黄玉琳

上海财经大学硕士，京东算法工程师，开源组织Datawhale成员；从事智能供应链领域的算法研究及应用工作；主要研究方向为机器学习、自然语言处理、运筹优化。

 

易华挥

四川大学华西医院生物大数据中心的科研助理，开源组织Datawhale成员；主要研究方向为多模态表征学习及其在医学影像分析中的应用；发表顶会论文3篇。

第 1 章　基礎知識——大語言模型背後 1

1.1　自然語言背景 1

1.1.1　語言是智能的標志 1

1.1.2　從圖靈測試到ChatGPT 2

1.2　語言模型基礎 6

1.2.1　最小語義單位Token 與Embedding 6

1.2.2　語言模型是怎麽回事 8

1.3　ChatGPT基礎 14

1.3.1　最強表示架構Transformer設計與演變 14

1.3.2　生成語言模型GPT進化與逆襲 18

1.3.3　利器強化學習RLHF流程與思想 25

1.4　本章小結 30

 

第 2 章　相似匹配——萬物皆可Embedding 31

2.1　相似匹配基礎 31

2.1.1　更好的Embedding表示 31

2.1.2　如何度量Embedding相似度 36

2.2　ChatGPT接口使用 37

2.2.1　Embedding接口 37

2.2.2　ChatGPT+提示詞 40

2.3　相關任務與應用 41

2.3.1　簡單問答：以問題找問題 42

2.3.2　聚類任務：物以類聚也以群分 50

2.3.3　推薦應用：一切都是Embedding 55

2.4　本章小結 64

 

第3 章　句詞分類——句子Token都是類別 65

3.1　句詞分類基礎 65

3.1.1　如何對一句話進行分類 68

3.1.2　從句子分類到Token分類 71

3.2　ChatGPT接口使用 72

3.2.1　基礎版GPT續寫 72

3.2.2　進階版ChatGPT指令 77

3.3　相關任務與應用 82

3.3.1　文檔問答：給定文檔問問題 82

3.3.2　模型微調：滿足個性化需要 94

3.3.3　智能對話：大語言模型=自主控制的機器人 106

3.4　本章小結 117

 

第4 章　文本生成——超越理解更智能 119

4.1　文本生成任務基礎 119

4.2　文本摘要 121

4.2.1　什麽是文本摘要 121

4.2.2　常見的文本摘要技術 121

4.2.3　基於OpenAI接口的文本摘要實驗 123

4.3　文本糾錯 131

4.3.1　什麽是文本糾錯 131

4.3.2　常見的文本糾錯技術 132

4.3.3　基於OpenAI接口的文本糾錯實驗 135

4.4　機器翻譯 136

4.4.1　什麽是機器翻譯 136

4.4.2　常見的機器翻譯技術 137

4.4.3　基於OpenAI接口的機器翻譯實驗 138

4.5　本章小結 144

 

第5 章　復雜推理——更加像人一樣思考 145

5.1　什麽是復雜推理 145

5.2　復雜推理能力的激活和改善 147

5.2.1　初步評估ChatGPT的推理能力 147

5.2.2　復雜推理能力的激活 150

5.2.3　大語言模型復雜推理能力的改善 156

5.3　大語言模型復雜推理能力的探討 168

5.4　本章小結 170

 

第6 章　工程實踐——真實場景大不同 172

6.1　評測：決定是否上線的標準 172

6.1.1　為什麽評測 172

6.1.2　NLU常用評測指標 173

6.1.3　NLG常用評測指標 175

6.2　安全：必須認真對待的話題 178

6.2.1　前/ 後處理 178

6.2.2　提示詞 179

6.2.3　可控文本生成 179

6.3　網絡：接口調用並不總是成功 180

6.3.1　失敗 181

6.3.2　延遲 182

6.3.3　擴展 183

6.4　本章小結 185

 

第7 章　局限與不足——工具不是萬能的 186

7.1　事實性錯誤 186

7.1.1　錯誤示例 186

7.1.2　原因分析 188

7.1.3　解決方法 189

7.2　實時更新 190

7.2.1　問題示例 190

7.2.2　原因分析 191

7.2.3　解決方法 192

7.3　性能瓶頸 193

7.3.1　背景描述 193

7.3.2　原因分析 193

7.3.3　解決方法 194

7.4　本章小結 194

 

第8 章　商業應用——LLM是星辰大海 196

8.1　相關背景 196

8.2　影響分析 197

8.3　商業賦能 198

8.4　本章小結 204