大模型實戰：生成式AI原理、方法與最佳實踐

阿米特·巴裏（Amit Bahree）是微軟的首席技術項目經理。他所在的工程團隊利用Azure AI 平臺為數百萬客戶構建新一代的AI 產品和服務。他還負責為核心客戶進行平臺級定制化開發，運用各種形式的AI（包括生成式AI）解決覆雜的企業應用場景問題。Amit 是一位對技術具有狂熱興趣與深刻洞察力的專業人士，擁有近30 年的技術與產品開發經驗，在應用研究、機器學習、AI 及雲平臺等領域具備深厚的背景。他熱衷於打造強大且負責任的AI 產品，以推動行業變革並提升人們的生活質量。

第 一部分 生成式AI基礎

第 1 章 生成式AI 簡介 2

11 本書的內容 3

12 生成式AI 簡介 4

13 生成式AI 的功能 7

131 實體提取 7

132 文本生成 8

133 圖像生成 10

134 代碼生成 11

135 邏輯問題求解 13

136 音樂生成 15

137 視頻生成 16

14 企業應用案例 16

15 生成式AI 的局限性 17

16 生成式AI 與傳統AI 的區別 18

17 企業應采取何種策略 20

18 架構考量 21

19 企業部署生成式AI 的流程 22

110 小結 23

第 2 章 大語言模型概述 24

21 基礎模型簡介 24

22 LLM簡介 26

23 Transformer 架構 27

24 訓練截止點 27

25 LLM的類型 28

26 小型語言模型 29

27 商業LLM 與開源LLM 31

271 商業LLM 32

272 開源LLM 32

28 LLM的核心概念 33

281 提示詞 34

282 token 35

283 token 計數 38

284 嵌入 40

285 模型配置 42

286 上下文窗口 44

287 提示工程 45

288 模型適配 46

289 湧現行為 46

29 小結 50

第3 章 使用API：文本生成 51

31 模型類別 52

311 依賴項 53

312 模型列表 55

32 文本補全API 56

321 文本補全詳解 59

322 Azure 內容安全過濾器 61

323 生成多個文本補全結果 61

324 控制隨機性 63

325 使用top_p 控制隨機性 66

33 文本補全API 的高級選項 67

331 流式補全 67

332 使用logit_bias 影響token

的生成概率 69

333 存在懲罰和頻率懲罰 72

334 對數概率 73

34 聊天補全API 75

341 系統角色 77

342 結束原因 79

343 聊天補全API 在非聊天場景中

的應用 79

344 對話管理 80

345 管理token 的最佳實踐 83

346 LLM及其供應商 83

35 小結 84

第4 章 從像素到圖像：圖像生成 85

41 視覺模型 85

411 VAE 88

412 GAN 89

413 視覺Transformer 模型 90

414 擴散模型 92

415 多模態模型 94

42 使用Stable Diffusion 生成圖像 96

421 依賴項 96

422 圖像生成 97

43 使用其他模型生成圖像 100

431 OpenAI DALL·E 3 101

432 Bing 圖像生成器 101

433 Adobe Firefly 102

44 使用Stable Diffusion 編輯和增強

圖像 102

441 使用圖生圖API 生成圖像 106

442 使用遮罩API 進行局部編輯 107

443 使用放大API 調整圖像尺寸 109

444 圖像生成技巧 111

45 小結 111

第5 章 AI 還能生成什麼 113

51 代碼生成 113

511 AI 生成的代碼是否可信 115

512 GitHub Copilot 117

513 GitHub Copilot 的工作原理 120

52 其他代碼相關任務 121

521 代碼解釋 121

522 生成測試代碼 123

523 代碼引用 124

524 代碼重構 124

53 其他代碼生成工具 125

531 Amazon CodeWhisperer 125

532 Code Llama 126

533 Tabnine 128

534 自我檢查 128

535 代碼生成的最佳實踐 129

54 視頻生成 130

55 音頻和音樂生成 132

56 小結 133

第二部分 高級技術與應用

第6 章 提示工程指南 136

61 什麼是提示工程 136

62 提示工程基礎 138

63 上下文學習與上下文提示 141

64 提示工程技術 143

641 系統消息 143

642 零樣本學習、少樣本學習和

多樣本學習 146

643 清晰的語法 148

644 讓上下文學習發揮作用 149

645 推理：思維鏈 150

646 自一致性采樣 154

65 圖像提示 155

66 提示詞註入 157

67 提示工程面臨的挑戰 159

68 最佳實踐 160

69 小結 161

第7 章 檢索增強生成：秘密武器 162

71 什麼是RAG 162

72 RAG 的優勢 163

73 RAG 架構 165

74 檢索器系統 166

75 理解向量數據庫 167

751 什麼是向量索引 168

752 向量搜索 168

76 RAG 系統面臨的挑戰 171

77 應對分塊的挑戰 172

771 分塊策略 172

772 影響分塊策略的因素 173

773 應對未知的覆雜性 176

774 句子分塊 177

775 基於NLP 的分塊方法 178

78 PDF 分塊 183

79 小結 186

第8 章 與數據對話 187

81 企業使用自有數據的優勢 187

811 更大的上下文窗口 188

812 使用自有數據構建聊天應用

程序 189

82 使用向量數據庫 190

83 信息檢索規劃 193

84 數據檢索 200

85 使用Redis 進行搜索 204

86 基於RAG 的端到端聊天實現 206

87 使用Azure OpenAI 處理數據 209

88 使用RAG 集成數據的優勢 211

89 小結 212

第9 章 通過適配與微調定制模型 213

91 什麼是模型適配 214

911 模型適配的基礎 214

912 企業應用模型適配的優勢和

挑戰 215

92 何時對LLM進行微調 216

921 微調LLM 的關鍵階段 218

93 微調OpenAI 模型 219

931 準備微調數據集 219

932 LLM評估 223

933 微調 225

934 微調訓練指標 229

935 使用Azure OpenAI 進行微調 232

94 部署微調模型 234

941 推理 235

95 訓練LLM 236

951 預訓練 237

952 監督微調 237

953 獎勵建模 238

954 強化學習 238

955 直接策略優化 238

96 模型適配技術 238

961 LoRA 240

97 RLHF 概述 242

971 RLHF 面臨的挑戰 244

972 擴大RLHF 應用規模 245

98 小結 246

第三部分 部署與倫理考量

第 10 章 生成式AI 應用架構設計 248

101 生成式AI 應用架構 248

1011 軟件20 249

1012 Copilot 時代 250

102 生成式AI 應用技術棧 250

1021 集成生成式AI 技術棧 252

1022 生成式AI 架構原則 253

1023 生成式AI 應用架構詳述 254

103 編排層 256

1031 編排框架的優勢 257

1032 編排框架 258

1033 運營管理 259

1034 提示詞管理 268

104 基礎層 269

1041 數據的集成和預處理 269

1042 嵌入與向量管理 271

105 模型層 272

1051 模型集成架構 273

1052 模型服務 277

106 響應過濾層 277

107 小結 278

第 11 章 規模化：生產部署的最佳

實踐 279

111 生產部署面臨的挑戰 280

112 部署選項 282

113 通過API 托管的LLM 282

114 生產部署的最佳實踐 283

1141 LLM推理指標 283

1142 延遲 284

1143 可擴展性 287

1144 PAYGO 290

1145 配額和速率限制 290

1146 配額管理 291

1147 可觀測性 293

1148 安全性與合規性考量 301

115 生成式AI 的運營考量 301

1151 可靠性與性能考量 301

1152 托管身份 302

1153 緩存 303

116 LLMOps 與MLOps 307

117 生產部署清單 309

118 小結 310

第 12 章 評估與基準測試 311

121 LLM 評估 312

122 傳統評估指標 312

1221 BLEU 313

1222 ROUGE 313

1223 BERTScore 314

1224 傳統評估指標的示例 314

123 LLM 特定任務基準測試 317

1231 G-Eval：一種用於NLG 評估

的測量方法 318

1232 基於LLM的評估指標示例 320

1233 HELM 324

1234 HEIM 325

1235 HellaSWAG 326

1236 MMLU 326

1237 使用Azure AI Studio 進行

評估 327

1238 DeepEval：一個LLM 評估

框架 328

124 新的評估基準 329

1241 SWE-bench 329

1242 MMMU 330

1243 MoCa 331

1244 HaluEval 331

125 人工評估 332

126 小結 333

第 13 章 生成式AI 倫理指南：原則、

實踐和陷阱 334

131 生成式AI 的風險 335

1311 LLM 的局限性 335

1312 幻覺 336

132 生成式AI 攻擊 337

1321 提示詞註入 337

1322 不安全輸出處理 343

1323 模型拒絕服務 343

1324 數據投毒與後門 344

1325 敏感信息泄露 344

1326 過度依賴 345

1327 模型盜竊 346

133 RAI 生命周期 347

1331 識別危害 348

1332 測量與評估危害 349

1333 緩解危害 350

1334 透明度與可解釋性 351

134 紅隊測試 352

1341 紅隊測試示例 353

1342 紅隊測試工具和技術 354

135 內容安全 356

1351 Azure AI Content Safety 357

1352 Perspective API 362

1353 內容過濾器評估 365

136 小結 366

附錄A 本書的GitHub 倉庫 367

附錄B RAI 工具 368

參考文獻 372