大模型前沿與實踐

目    錄

第1章　LLM簡介  1

1.1  引言  1

1.2  自然語言  2

1.3  NLP與語言模型的演變  4

1.3.1  基於句法和語法的方法：1950年—1979年  4

1.3.2  專家系統與統計模型：1980年—1999年  5

1.3.3  神經模型、稠密表示和DL革命：2000年至今  6

1.4  LLM時代  8

1.4.1  LLM演變簡史  8

1.4.2  LLM規模  9

1.4.3  LLM湧現的能力  9

1.5  LLM的實踐  10

1.5.1  LLM的開發  11

1.5.2  LLM的適應性調整  13

1.5.3  LLM的利用  15

1.6　本章小結  18

第2章　語言模型的預訓練  19

2.1  編碼器-解碼器架構  19

2.1.1  編碼器  19

2.1.2  解碼器  20

2.1.3  訓練與優化  20

2.1.4  編碼器-解碼器架構的問題  20

2.2  註意力機制  20

2.3  Transformer  22

2.3.1  編碼器  22

2.3.2  解碼器  23

2.3.3  詞元化與表示  23

2.3.4  位置編碼  23

2.3.5  多頭註意力  24

2.3.6  位置逐元素前饋神經網絡  24

2.3.7  層歸一化  25

2.3.8  掩碼多頭註意力  25

2.3.9  編碼器-解碼器註意力機制  25

2.3.10  Transformer變體  26

2.4  數據  29

2.4.1  語言模型預訓練數據集  29

2.4.2  數據預處理  31

2.4.3  數據對LLM的影響  32

2.4.4  任務特定數據集  33

2.5  預訓練LLM設計選擇  33

2.5.1  預訓練方法  33

2.5.2  預訓練任務  34

2.5.3  架構  38

2.5.4  LLM預訓練技巧與策略  39

2.6  常用的預訓練LLM  42

2.6.1  BERT(編碼器)  42

2.6.2  T5(編碼器-解碼器)  45

2.6.3  GPT(解碼器)  47

2.6.4  Mixtral 8x7B(專家混合模型)  51

2.7  教程：理解LLM和預訓練  53

2.7.1  概述  53

2.7.2  實驗設計  54

2.7.3  結果與分析  54

2.7.4  結論  55

2.8　本章小結  55

第3章　基於提示的學習  56

3.1  引言  56

3.1.1  完全監督學習  57

3.1.2  預訓練與微調學習  58

3.1.3  基於提示的學習  59

3.2  基於提示的學習基礎  61

3.2.1  基於提示的學習：形式化描述  61

3.2.2  基於提示的學習過程  62

3.2.3  基於提示的知識提取  64

3.2.4  基於提示的學習在NLP任務中的應用  65

3.3  提示工程  68

3.3.1  提示形式  69

3.3.2  人工模板設計  70

3.3.3  自動化模板設計：離散搜索  71

3.3.4  自動化模板設計：連續搜索  75

3.3.5  基於提示的微調  78

3.4  回答工程  79

3.4.1  答案形式  79

3.4.2  定義答案空間  79

3.4.3  人工答案映射  80

3.4.4  自動答案映射：離散搜索  80

3.4.5  自動答案映射：連續搜索  80

3.5  多提示推理  81

3.5.1  集成  81

3.5.2  上下文學習  82

3.5.3  提示分解  83

3.6  首個教程：文本分類和NER中的提示、預訓練、微調方法  84

3.6.1  概述  84

3.6.2  實驗設計  85

3.6.3  結果與分析  86

3.6.4  結論  88

3.7  第二個教程：提示工程方法  88

3.7.1  概述  88

3.7.2  實驗設計  88

3.7.3  結果與分析  89

3.7.4  結論  91

3.8　本章小結  92

第4章　LLM的適配與利用  93

4.1  引言  93

4.2  IT  94

4.2.1  IT流程  94

4.2.2  IT數據  96

4.2.3  面向領域適配的IT  98

4.3  PEFT  100

4.3.1  適配器  101

4.3.2  重參數化  104

4.4  計算高效微調  110

4.5  終端用戶提示  113

4.5.1  零樣本提示  114

4.5.2  少樣本提示  114

4.5.3  提示鏈  115

4.5.4  CoT  116

4.5.5  自洽性  117

4.5.6  ToT  117

4.6  教程：在資源受限環境中微調LLM  117

4.6.1  概述  117

4.6.2  實驗設計  118

4.6.3  結果與分析  118

4.6.4  結論  120

4.7　本章小結  121

第5章　LLM對齊微調  122

5.1  對齊微調  122

5.1.1  有用性  123

5.1.2  誠實性  124

5.1.3  無害性  125

5.2  基礎：RL框架  127

5.3  將RL框架映射到基於人類反饋的LLM  129

5.4  RLHF的演變  130

5.4.1  LLM的安全性、質量和事實依據性  130

5.4.2  基於人類偏好的深度強化學習  133

5.4.3  基於人類反饋的摘要學習  135

5.4.4  通過人類反饋實現LLM的有用性、誠實性、無害性對齊  138

5.5  克服RLHF挑戰  142

5.5.1  通過AI反饋實現無害性  142

5.5.2  DPO  145

5.6  教程：利用RLHF使語言模型更有用  148

5.6.1  概述  148

5.6.2  實驗設計  149

5.6.3  結果與分析  149

5.6.4  結論  151

5.7　本章小結  151

第6章　LLM的挑戰與解決方案  152

6.1  幻覺  152

6.1.1  原因  152

6.1.2  評估指標  153

6.1.3  基準測試  155

6.1.4  緩解策略  156

6.2  偏見與公平性  159

6.2.1  表征性傷害  160

6.2.2  分配性傷害  160

6.2.3  成因  160

6.2.4  評估指標  162

6.2.5  基準測試集  165

6.2.6  緩解策略  167

6.3  毒性  173

6.3.1  成因  173

6.3.2  評估指標  174

6.3.3  基準測試  175

6.3.4  緩解策略  176

6.4  隱私  179

6.4.1  原因  180

6.4.2  評估指標  181

6.4.3  基準測試  182

6.4.4  緩解策略  182

6.5  教程：LLM中的偏見測量與緩解  184

6.5.1  概述  184

6.5.2  實驗設計  185

6.5.3  結果與分析  185

6.5.4  結論  186

6.6　本章小結  186

第7章　RAG  187

7.1  引言  187

7.2  RAG基礎  187

7.3  RAG優化  190

7.4  增強RAG  191

7.4.1  數據源與嵌入  191

7.4.2  查詢  193

7.4.3  檢索與生成  196

7.4.4  結論  200

7.5  RAG應用評估  201

7.5.1  RAG質量指標  201

7.5.2  RAG系統能力評估  207

7.5.3  RAG評估總結  211

7.6  教程：構建自己的RAG系統  211

7.6.1  概述  211

7.6.2  實驗設計  212

7.6.3  結果與分析  212

7.6.4  結論  214

7.7　本章小結  214

第8章　LLM在生產中的應用  215

8.1  引言  215

8.2  LLM應用  216

8.2.1  會話AI、聊天機器人和AI助手  216

8.2.2  內容創作  216

8.2.3  搜索、信息檢索和推薦系統  217

8.2.4  編程  217

8.2.5  LLM的分類  218

8.3  LLM評估指標  220

8.3.1  困惑度  221

8.3.2  BLEU  221

8.3.3  ROUGE  222

8.3.4  BERTScore  222

8.3.5  MoverScore  223

8.3.6  G-Eval  224

8.3.7  pass@k  225

8.4  LLM基準數據集  226

8.5  LLM選擇  228

8.5.1  開源與閉源  229

8.5.2  分析質量  231

8.5.3  推理延遲  231

8.5.4  成本  233

8.5.5  適應性與維護  234

8.5.6  數據安全與許可  234

8.6  應用開發工具  235

8.6.1  LLM應用框架  236

8.6.2  LLM定制  237

8.6.3  向量數據庫  238

8.6.4  提示工程  238

8.6.5  評估與測試  241

8.7  推理  241

8.7.1  模型托管  241

8.7.2  性能優化  242

8.7.3  優化成本  244

8.8  LLMOps  244

8.8.1  LLMOps工具與方法  244

8.8.2  加速疊代周期  247

8.8.3  風險管理  248

8.9  教程：為生產部署準備實驗模型  249

8.9.1  概述  249

8.9.2  實驗設計  250

8.9.3  結果與分析  250

8.9.4  結論  252

8.10　本章小結  252

第9章　MMLLM  253

9.1  引言  253

9.2  簡要歷史  253

9.3  MMLLM框架  255

9.3.1  模態編碼器  255

9.3.2  輸入投影器  256

9.3.3  預訓練：核心LLM、數據集和任務特定目標  259

9.3.4  MMLLM調優與增強  265

9.3.5  多模態RLHF  269

9.3.6  輸出投影器  270

9.3.7  模態生成器  270

9.4  基準測試  271

9.5  最先進的MMLLM  273

9.5.1  Flamingo(圖像–視頻–文本)  273

9.5.2  Video-LLaMA(圖像–視頻–音頻–文本)  276

9.5.3  NExT-GPT(任意模態轉換)  278

9.6  教程：多模態圖像到文本LLM微調  280

9.6.1  概述  280

9.6.2  實驗設計  280

9.6.3  結果與分析  281

9.6.4  結論  283

9.7　本章小結  283

第10章　LLM演變與新前沿  284

10.1  引言  284

10.2  LLM的演進  284

10.2.1  合成數據  284

10.2.2  更大的上下文窗口  285

10.2.3  訓練加速  286

10.2.4  多詞元生成  286

10.2.5  知識蒸餾  286

10.2.6  後註意力架構  287

10.3  LLM趨勢  288

10.3.1  小型語言模型  288

10.3.2  技術民主化  289

10.3.3  領域特定語言模型  289

10.4  新前沿  290

10.4.1  LLM智能體  290

10.4.2  LLM增強搜索  291

10.5  結語  293

10.6　本章小結  294

附錄A　DL基礎  295

附錄B　RL基礎  305

附錄C　符號解釋  315