大模型核心原理與企業落地實踐

目錄

CONTENTS

第1篇 原理篇

第1章 人工智能概述 002

1.1 人工智能的定義 002

1.2 人工智能發展簡史 003

1.2.1 史前文明，曙光初現（1956年之前） 004

1.2.2 初出茅廬，一戰成名（1956—1974年） 008

1.2.3 寒風凜冽，首次入冬（1974—1980年） 011

1.2.4 捲土重來，威震八方（1980—1987年） 012

1.2.5 失望彌漫，再度入冬（1987—1993年） 014

1.2.6 重出江湖，漸入佳境（1993年至今） 016

1.3 自然語言處理和大語言模型 018

1.3.1 自然語言處理 018

1.3.2 大語言模型 037

第2章 大模型的數學基礎 039

2.1 微分學 039

2.1.1 鏈式求導法則 039

2.1.2 對數函數求導 039

2.1.3 梯度和梯度下降算法 040

2.2 線性代數 041

2.2.1 向量 041

2.2.2 矩陣拼接 046

2.2.3 特徵值和特徵向量 053

2.2.4 幾何變換 054

2.3 概率論 056

2.3.1 概率分佈 056

2.3.2 先驗概率和後驗概率 058

2.3.3 最大似然估計 059

2.3.4 貝葉斯法則 060

2.4 統計學 061

2.4.1 數據的標準化和歸一化 061

2.4.2 標準差 062

2.4.3 偏差和方差 062

2.4.4 協方差和協方差矩陣 063

2.5 深度神經網絡基礎 064

2.5.1 神經元 064

2.5.2 激活函數 067

2.5.3 前向傳播和後向傳播算法 072

2.5.4 損失函數 077

2.6 Transformer機制詳解 084

2.6.1 Transformer簡介 084

2.6.2 分詞及向量化 085

2.6.3 位置編碼 086

2.6.4 自註意力和多頭註意力 087

2.6.5 殘差連接和層歸一化 089

2.6.6 Transformer小結 090

2.7 其他 093

2.7.1 訓練、驗證和測試數據集 093

2.7.2 過擬合和欠擬合 096

2.7.3 奧卡姆剃刀原則 097

2.7.4 信息熵  098

第2篇 應用實踐篇

第3章 大語言模型與檢索增強生成技術 102

3.1 檢索增強生成背景 102

3.2 檢索增強生成技術框架 102

3.2.1 信息檢索 104

3.2.2 提示工程 111

第4章 基於大語言模型的智能問答助手 114

4.1 文檔離線預處理與存儲 114

4.1.1 格式化 115

4.1.2 切割 115

4.1.3 向量化與存儲 119

4.2 聯網在線預處理與存儲 122

4.3 在線 QA 服務 123

4.3.1 用戶問題向量化 124

4.3.2 Prompt 組裝 124

4.3.3 問答召回 124

4.4 長記憶與多輪對話 125

4.5 歸因與可解釋性 128

4.6 評測 129

4.7 用戶反饋 131

4.8 待解決的系列問題 131

第5章 基於大語言模型的智能數據助手 134

5.1 數據標準化 135

5.2 工具 140

5.3 案例 143

第6章 基於大語言模型的鴻蒙代碼轉換探索 145

6.1 背景概述 145

6.2 問題剖析 145

6.3 探索破題 150

6.3.1 總體思路概述 151

6.3.2 基於“知識體系”的數據工程建設 152

6.3.3 針對被轉換對象“庖丁解牛” 155

6.3.4 提取典型問題模式，利用關鍵技術“各個擊破” 157

6.3.5 不斷優化“反饋迴路”，緩解工程復雜性 159

第7章 大語言模型的推理加速 161

7.1 引言 161

7.2 推理加速技術原理 165

7.2.1 推理計算與顯存分析 165

7.2.2 模型壓縮 169

7.2.3 計算加速 181

7.2.4 技術總覽 198

7.3 推理加速框架 199

7.3.1 vLLM 199

7.3.2 TGI 206

7.4 推理加速工程實踐 209

7.4.1 Llama3 在vLLM 框架上的推理 209

7.4.2 Llama3 在TGI框架上的推理 211

7.4.3 推理測試 212

第8章 大語言模型的運維與持續優化 223

8.1 運維背景 223

8.2 鏈路追蹤 224

8.3 數據管理與測試用例管理 236

8.3.1 Web 數據集管理 236

8.3.2 SDK 數據集管理 236

8.3.3 數據集版本管理 237

8.3.4 few-shot 動態管理 238

8.4 一站式評測 239

8.4.1 評測 239

8.4.2 單元測試 241

8.4.3 回歸測試 241

8.4.4 流量錄制回放測試 241

8.4.5 Agent/Tool 評測 242

8.4.6 RAG 評測 244

8.5 Prompt管理 246

8.6 監控告警 248

8.6.1 過濾器 248

8.6.2 監控 248

8.7 部署 249

8.7.1 框架 249

8.7.2 k8s 部署 250

參考文獻 253