實戰AI大模型:來自OpenAI的一線經驗

[美]阿裏·阿米尼安(Ali Aminian)

商品描述

本書聚焦AI 大模型(生成式人工智能)系統設計,培養讀者從需求分析到模型部署的系統化思維與實踐能力。不同於傳統教材按技術棧劃分章節,本書以真實的實際研發案例為線索,拆解文本生成、圖像合成、跨模態生成等核心場景,涵蓋提示工程、RLHF、擴散模型、推理優化等關鍵技術。無論是實際工作還是技術面試,讀者都能通過本書構建生成式人工智能的“覆雜系統心智模型”,在技術快速演進的浪潮中錨定方向。

作者簡介

阿裏·阿米尼安(Ali Aminian),Adobe高級機器學習工程師、技術主管,斯坦福大學兼職講師,前谷歌工程師。專註於LLM與圖像/視頻基礎模型的預訓練、微調與對齊,Adobe Firefly平臺GenAI服務核心開發成員。

盛浩,OpenAI研究科學家,曾就職於蘋果、TikTok等科技公司。斯坦福大學人工智能博士,師從吳恩達與沙魯德·戈爾(Sharad Goel)。

目錄大綱

第 1 章 引言與概述 1

11 生成式人工智能概述 1

111 判別式模型 2

112 生成式模型 3

113 什麼是生成式人工智能,

為何流行 4

114 為什麼生成式人工智能

變得如此強 5

115 縮放定律 8

116 生成式人工智能的風險

與限制 9

12 機器學習系統設計面試框架 9

121 明確需求 10

122 將問題轉換為機器學習

任務 11

123 數據準備 14

124 模型開發 19

125 評估 30

126 整體機器學習系統設計 32

13 小結 33

第 2 章 Gmail 智能撰寫 35

21 明確需求 35

22 將問題轉換為機器學習任務 36

221 指定系統的輸入和輸出 36

222 選擇合適的機器學習

方法 36

23 數據準備 37

231 文本清洗與標準化 39

232 文本詞元化與詞元索引 39

24 模型開發 44

241 架構 44

242 訓練 53

243 采樣 59

244 智能撰寫功能適合采用

哪種采樣方法 62

25 評估 65

251 離線評估指標 65

252 在線評估指標 67

26 整體機器學習系統設計 68

261 觸發服務 68

262 短語生成器 69

263 後處理服務 70

27 其他討論要點 72

第3 章 Google 翻譯 73

31 明確需求 73

32 將問題轉換為機器學習任務 74

321 指定系統的輸入和輸出 74

322 選擇合適的機器學習

方法 75

33 數據準備 76

331 文本預處理 76

332 文本詞元化 77

ii | 目 錄

34 模型開發 82

341 架構 82

342 訓練 86

343 采樣 91

35 評估 92

351 離線評估指標 92

352 在線評估指標 95

36 整體機器學習系統設計 96

361 語言檢測器 96

362 翻譯服務 97

37 其他討論要點 98

第4 章 ChatGPT:個人聊天

助理 99

41 明確需求 99

42 將問題轉換為機器學習任務 100

421 指定系統的輸入和輸出 100

422 選擇合適的機器學習

方法 100

43 數據準備 101

44 模型開發 102

441 架構 102

442 訓練 106

443 采樣 117

45 評估 127

451 離線評估指標 127

452 在線評估指標 133

46 整體機器學習系統設計 135

461 訓練流程 135

462 推理流程 135

47 其他討論要點 137

第5 章 圖像描述生成 138

51 明確需求 139

52 將問題轉換為機器學習任務 140

521 指定系統的輸入和輸出 140

522 選擇合適的機器學習

方法 140

53 數據準備 141

531 標題數據準備 142

532 圖像數據準備 142

54 模型開發 143

541 架構 143

542 訓練 149

543 采樣 151

55 評估 152

551 離線評估指標 152

552 在線評估指標 155

56 總體機器學習系統設計 155

57 其他討論要點 157

第6 章 檢索增強生成 158

61 明確需求 159

62 將問題轉換為機器學習任務 160

621 指定系統的輸入和輸出 160

622 選擇合適的機器學習

方法 160

63 數據準備 164

631 文檔解析 164

632 文檔分塊 166

633 索引 167

634 使用基於向量的檢索

來索引數據 169

64 模型開發 170

641 架構 170

642 訓練 172

643 采樣 174

65 評估 182

651 上下文相關性 183

652 忠實性 183

653 答案相關性 184

目 錄 | iii

654 答案正確性 184

66 整體機器學習系統設計 185

661 索引過程 186

662 安全過濾 186

663 查詢擴展 186

664 檢索 186

665 生成 186

67 其他討論要點 187

第7 章 真實人臉生成 188

71 明確需求 188

72 將問題轉換為機器學習任務 189

721 指定系統的輸入和輸出 189

722 選擇合適的機器學習

方法 189

73 數據準備 196

74 模型開發 197

741 架構 197

742 訓練 202

743 采樣 206

75 評估 208

751 離線評估指標 208

752 在線評估指標 212

76 整體機器學習系統設計 212

761 人臉生成器 213

762 訓練服務 213

763 評估服務 213

764 部署服務 214

77 其他討論要點 214

第8 章 高分辨率圖像合成 215

81 明確需求 215

82 將問題轉換為機器學習任務 216

821 指定系統的輸入和輸出 216

822 選擇合適的機器學習

方法 216

83 數據準備 220

831 圖像清理和歸一化 220

832 圖像詞元化 220

84 模型開發 221

841 架構 221

842 訓練 225

843 采樣 229

85 評估 230

851 離線評估指標 230

852 在線評估指標 231

86 整體機器學習系統設計 231

861 生成服務 232

862 解碼服務 232

863 超分辨率服務 232

87 其他討論要點 233

第9 章 文本到圖像生成 234

91 明確需求 235

92 將問題轉換為機器學習任務 235

921 指定系統的輸入和輸出 235

921 選擇合適的機器學習

方法 236

93 數據準備 239

931 圖像準備 239

932 圖像描述文本準備 240

94 模型開發 240

941 架構 240

942 訓練 244

943 采樣 248

95 評估 250

951 離線評估指標 250

952 在線評估指標 252

96 整體機器學習系統設計 253

961 數據流程 253

962 訓練流程 254

963 評估流程 254

iv | 目 錄

964 模型優化流程 254

965 推理流程 254

97 其他討論要點 257

第 10 章 個性化頭像生成 258

101 明確需求 258

102 將問題轉換為機器學習任務 259

1021 指定系統的輸入和

輸出 259

1022 選擇合適的機器學習

方法 260

103 數據準備 269

104 模型開發 270

1041 架構 270

1042 訓練 271

1043 采樣 272

105 評估 273

1051 離線評估指標 273

1052 在線評估指標 276

106 整體機器學習系統設計 276

1061 數據流程 276

1062 訓練流程 277

1063 推理流程 278

107 其他討論要點 279

第 11 章 文本到視頻生成 280

111 明確需求 281

112 將問題轉換為機器學習任務 282

1121 指定系統的輸入和

輸出 282

1122 選擇合適的機器學習

方法 282

113 數據準備 285

1131 視頻準備 285

1132 描述文本準備 287

114 模型開發 288

1141 架構 288

1142 訓練 294

1143 采樣 297

115 評估 298

1151 離線評估指標 298

1152 在線評估指標 300

116 整體機器學習系統設計 300

1161 數據流程 300

1162 訓練流程 301

1163 推理流程 301

117 其他討論要點 302

後記 303