大模型理論與實踐——打造行業智能助手

目錄

第1章大模型導論1

1.1大模型概念1

1.1.1預訓練2

1.1.2有監督微調2

1.1.3偏好對齊2

1.2大模型的過去、現在與未來2

1.2.1大模型簡史2

1.2.2大模型的現狀4

1.2.3大模型未來展望8

1.3本書的讀者對象與內容11

參考文獻12

第2章大模型基礎知識13

2.1分詞13

2.1.1粒度13

2.1.2子詞拆分算法13

2.1.3實現14

2.2位置編碼15

2.2.1RoPE15

2.2.2ALiBi16

2.3網絡結構17

2.3.1Transformer架構17

2.3.2大模型的Transformer架構20

2.3.3MoE模型22

2.4長上下文25

2.4.1採用RoPE位置編碼的長上下文擴展25

2.4.2註意力操作優化27

參考文獻31

第3章大語言模型分佈式訓練33

3.1大語言模型高效訓練技術要點33

3.2並行模式34

3.2.1數據並行化35

3.2.2流水線並行化35

3.2.3張量並行化37

3.3集合通信38

3.3.1allreduce操作的分解39

3.3.2allreduce操作的高效實現39

3.4DeepSpeed訓練加速框架40

3.4.1ZeRO技術41

3.4.2ZeRO技術與流水線並行化結合43

3.4.3ZeRO技術與張量並行化結合43

3.5DeepSpeed訓練方案建議44

參考文獻45

第4章繼續預訓練46

4.1繼續預訓練的必要性46

4.2數據預處理47

4.2.1低質數據過濾48

4.2.2去重48

4.3實戰: 行業大模型的繼續預訓練49

4.3.1數據準備49

4.3.2數據處理50

4.3.3模型訓練50

參考文獻59

第5章對齊(上)——指令微調60

5.1指令微調的必要性60

5.2微調方法61

5.2.1全參微調61

5.2.2部分參數微調61

5.3指令集的自動構造64

5.3.1指令的大規模自動生成64

5.3.2指令集的進化66

5.3.3拒絕採樣66

5.4實戰: 打造具有多輪對話能力的行業智能助手66

5.4.1數據準備67

5.4.2數據處理67

5.4.3模型訓練69

5.4.4評測74

參考文獻75

第6章對齊(下)——強化學習微調76

6.1強化學習微調的必要性76

6.2人類偏好對齊的強化學習建模77

6.3RLHF78

6.3.1RLHF技術基本流程78

6.3.2獎勵模型78

6.3.3PPO算法79

6.4RLAIF81

6.4.1偏好標註81

6.4.2微調技術路線83

6.4.3評估83

6.5實戰: DeepSpeedChat代碼解析84

6.5.1訓練獎勵模型84

6.5.2PPO訓練85

6.6DPO算法90

6.6.1DPO算法目標函數推導91

6.6.2Online DPO算法92

參考文獻94

第7章推理與部署95

7.1推理加速95

7.1.1常規工程化手段95

7.1.2自註意力計算訪存優化97

7.1.3推測解碼97

7.2量化102

7.2.1量化感知訓練103

7.2.2訓練後量化104

7.3部署109

7.3.1TensorRTLLM109

7.3.2vLLM111

7.3.3DeepSpeed Inference111

7.3.4SGLang112

7.3.5平臺選型建議112

7.4實戰: 使用FastChat部署Qwen 14B113

7.4.1準備工作113

7.4.2部署113

參考文獻115

第8章多模態大模型116

8.1多模態技術路線116

8.2橋接多模態大模型120

8.2.1Flamingo121

8.2.2BLIP系列124

8.2.3LLaVA128

8.2.4OneLLM129

8.3原生多模態大模型131

8.3.1Gemini132

8.3.2GPT4o133

8.3.3Chameleon133

參考文獻136

第9章AI智能體137

9.1AI智能體架構138

9.1.1感知139

9.1.2規劃139

9.1.3記憶143

9.1.4行動147

9.2開發框架149

9.2.1LangChain149

9.2.2AutoGen150

9.2.3AGENTS151

9.2.4MetaGPT153

參考文獻154