推薦系統：算法、案例與大模型 （腰封定製版）
劉強
相關主題
商品描述
互聯網上信息龐雜，信息生產者很難將合適的信息傳送至合適的用戶，同時用戶也很難從海量信息中獲取其感興趣的內容。
推薦系統能夠將信息生產者和用戶鏈接起來，幫助平臺解決需求和資源匹配的難題。
本書覆蓋推薦系統在行業應用中涉及的召回算法、排序算法的原理和實現思路，
以及特徵工程、冷啟動、效果評估、A/B測試、Web服務等核心工程知識，並包含金融、零售等行業的實施案例，
另外也與時俱進地介紹了大模型及其在推薦系統中的應用。
作者簡介
刘强，2009 年毕业于中国科学技术大学，有15年大数据与AI相关实践经验。出版过畅销书《构建企业级推荐系统》，翻译过《AI革命》《认识AI》《MongoDB 性能调优实战》等优秀作品。目前是杭州数卓信息技术有限公司 CEO，公司业务方向为构建大模型推荐系统、大模型知识库等，帮助企业利用大模型技术进行降本提效与精细化运营。同时，担任达观数据高级技术顾问，与达观数据一同推动推荐系统及大模型技术在行业的落地 。
目錄大綱
前言
第 1章 推薦系統基礎 2
1.1 推薦系統的定義 3
1.2 推薦系統解決的問題 4
1.3 推薦系統的應用領域 5
1.4 常用的推薦算法 5
1.4.1 基於內容的推薦算法 5
1.4.2 協同過濾算法 6
1.5 構建推薦系統的挑戰 8
1.5.1 數據維度 8
1.5.2 模型維度 9
1.5.3 服務維度 9
1.5.4 場景維度 9
1.5.5 價值維度 10
1.6 推薦系統的價值 10
1.7 小結 11
第 2章 推薦系統的產品與運營 12
2.1 推薦系統產品 13
2.2 推薦系統產品形態 13
2.2.1 熱門推薦/榜單推薦 13
2.2.2 個性化推薦 15
2.2.3 信息流推薦 16
2.2.4 物品關聯推薦 18
2.3 推薦系統運營 19
2.4 小結 20
第3章 推薦系統的業務流程與架構 22
3.1 推薦算法的業務流程 22
3.1.1 數據收集 23
3.1.2 ETL與特徵工程 23
3.1.3 模型構建 24
3.1.4 模型預測 25
3.1.5 Web服務 26
3.1.6 離線評估與在線評估 27
3.1.7 其他支撐模塊 28
3.2 推薦服務的pipeline架構 28
3.3 推薦系統的工程架構設計原則 31
3.4 小結 34
第4章 推薦系統的數據源與數據預處理 35
4.1 推薦系統的數據源 35
4.1.1 根據產品功能來劃分 35
4.1.2 根據數據載體來劃分 38
4.1.3 根據數據組織形式來劃分 40
4.2 數據預處理 42
4.2.1 抽取 43
4.2.2 轉換 44
4.2.3 加載 44
4.3 小結 45
第5章 推薦系統的特徵工程 46
5.1 推薦系統架構下的特徵工程 47
5.2 推薦系統的5類特徵 49
5.2.1 用戶畫像特徵 49
5.2.2 物品畫像特徵 49
5.2.3 用戶行為特徵 50
5.2.4 場景特徵 50
5.2.5 交叉特徵 50
5.3 推薦算法與特徵工程 51
5.3.1 個性化推薦下的樣本與特徵 51
5.3.2 物品關聯推薦下的樣本與特徵 52
5.4 推薦系統特徵工程面臨的挑戰 54
5.4.1 異構數據 54
5.4.2 實時推薦 54
5.4.3 復雜場景下的推薦 54
5.4.4 用戶隱私與信息安全 55
5.5 小結 56
第6章 推薦系統的召回算法 58
6.1 什麽是召回算法 58
6.2 常用的召回算法介紹 59
6.2.1 基於算法復雜度分類 59
6.2.2 基於數據維度分類 61
6.2.3 基於算法是否個性化分類 63
6.3 關於召回算法的使用說明 64
6.3.1 別使用太復雜的召回算法 64
6.3.2 使用多維度的召回算法 65
6.3.3 基於業務策略進行召回 65
6.4 小結 65
第7章 基於規則和策略的召回算法 66
7.1 熱門召回 66
7.2 基於物品標簽的召回 67
7.2.1 物品關聯召回 68
7.2.2 個性化召回 70
7.3 基於用戶畫像的召回 72
7.3.1 基於用戶自然屬性的召回 72
7.3.2 基於用戶社會屬性的召回 72
7.3.3 基於用戶業務屬性的召回 73
7.3.4 基於用戶設備屬性的召回 73
7.4 基於地域的召回 74
7.5 基於時間的召回 74
7.6 小結 75
第8章 基礎召回算法 76
8.1 關聯規則召回算法 76
8.2 聚類召回算法 78
8.2.1 基於用戶聚類的召回 79
8.2.2 基於物品聚類的召回 79
8.3 樸素貝葉斯召回算法 80
8.4 協同過濾召回算法 83
8.4.1 基於用戶的協同過濾 84
8.4.2 基於物品的協同過濾 85
8.5 矩陣分解召回算法 85
8.5.1 矩陣分解召回算法的核心思想 86
8.5.2 矩陣分解召回算法的實現原理 87
8.5.3 矩陣分解召回算法的求解方法 88
8.6 小結 89
第9章 高階召回算法 91
9.1 嵌入方法召回 91
9.1.1 word2vec原理介紹 91
9.1.2 item2vec原理介紹 94
9.1.3 item2vec在召回中的應用 95
9.2 深度學習召回 97
9.2.1 YouTube深度學習召回算法原理 97
9.2.2 優化召回算法的線上服務策略 99
9.3 小結 101
第 10章 推薦系統的排序算法 104
10.1 什麽是排序算法 104
10.2 常用的排序算法 106
10.2.1 基於規則和策略的排序算法 106
10.2.2 基礎排序算法 106
10.2.3 高階排序算法 107
10.3 關於排序算法的3點說明 107
10.3.1 是否一定要用排序算法 107
10.3.2 粗排和精排 108
10.3.3 排序後的業務調控 108
10.4 小結 108
第 11章 基於規則和策略的排序算法 110
11.1 多種召回隨機打散 110
11.2 按照某種順序排列 112
11.3 召回得分歸一化排序 114
11.4 匹配用戶畫像排序 115
11.5 利用代理算法排序 117
11.6 幾種策略的融合使用 118
11.7 小結 119
第 12章 基礎排序算法 120
12.1 logistic回歸排序算法 120
12.1.1 logistic回歸的算法原理 121
12.1.2 logistic回歸的特點 123
12.1.3 logistic回歸的工程實現 123
12.1.4 logistic回歸在業界的應用 124
12.2 FM排序算法 124
12.2.1 FM的算法原理 125
12.2.2 FM的參數估計 127
12.2.3 FM的計算復雜度 127
12.2.4 FM模型求解 128
12.2.5 FM用於推薦排序 128
12.3 GBDT排序算法 129
12.3.1 GBDT的算法原理 129
12.3.2 GBDT用於推薦排序 131
12.4 小結 132
第 13章 高階排序算法 134
13.1 Wide & Deep排序算法 134
13.1.1 模型特性 134
13.1.2 模型架構 135
13.1.3 Wide & Deep的工程實現 138
13.2 YouTube深度學習排序算法 139
13.2.1 模型架構 139
13.2.2 加權logistic回歸解釋 140
13.2.3 預測播放時長 141
13.3 小結 142
第 14章 推薦系統的冷啟動 146
14.1 冷啟動的定義 146
14.2 冷啟動面臨的挑戰 146
14.3 解決冷啟動問題為何如此重要 147
14.4 解決冷啟動問題的方法和策略 148
14.4.1 用戶冷啟動 149
14.4.2 物品冷啟動 152
14.5 小結 154
第 15章 推薦系統的效果評估 155
15.1 推薦系統評估的目的 155
15.2 推薦系統評估方法的分類 156
15.3 常用評估方法 157
15.3.1 離線評估 157
15.3.2 在線評估 162
15.4 小結 165
第 16章 推薦系統的A/B測試 166
16.1 什麽是A/B測試 166
16.2 A/B測試的價值 167
16.2.1 為評估產品優化效果提供科學的證據 168
16.2.2 增強決策的說服力 168
16.2.3 提升用戶體驗 168
16.2.4 提升公司變現能力 168
16.3 推薦系統的A/B測試實現方案 169
16.3.1 A/B測試的核心模塊 170
16.3.2 A/B測試的業務流程 172
16.4 小結 176
第 17章 推薦系統的Web服務 177
17.1 推薦系統Web服務的構成 177
17.2 推薦系統API服務 180
17.3 推薦系統推斷服務 182
17.3.1 推斷服務的兩種實現方式 182
17.3.2 事先計算型推斷服務 183
17.3.3 實時裝配型推斷服務 184
17.3.4 兩種推斷服務的優劣對比 186
17.4 小結 187
第 18章 Netflix Prize推薦算法代碼實戰案例 190
18.1 Netflix Prize競賽簡介 191
18.2 Netflix Prize競賽數據集簡介 191
18.3 數據預處理 193
18.4 推薦系統算法實現 193
18.4.1 召回算法 193
18.4.2 排序算法 206
18.5 小結 210
第 19章 H&M推薦算法代碼實戰案例 211
19.1 H&M數據集簡介 211
19.2 數據預處理與特徵工程 214
19.2.1 基於物品信息構建物品特徵矩陣 214
19.2.2 基於標簽構建用戶興趣畫像 215
19.2.3 構建推薦算法的特徵矩陣 220
19.3 推薦系統算法實現 223
19.3.1 召回算法 223
19.3.2 排序算法 230
19.4 小結 244
第 20章 推薦系統在金融行業的應用 246
20.1 達觀數據推薦系統簡介 247
20.2 項目背景 249
20.3 核心功能模塊 250
20.3.1 增長洞察 250
20.3.2 數字畫像 251
20.3.3 推薦引擎 251
20.3.4 智能監控 251
20.3.5 應用交流 251
20.3.6 平臺管理 252
20.4 技術實現方案 252
20.4.1 系統總體架構 252
20.4.2 系統數據流 253
20.4.3 模型特徵加工流程 254
20.4.4 模型訓練和預測流程 255
20.4.5 項目主要成果 256
20.5 小結 258
第 21章 推薦系統在零售行業的應用 259
21.1 零售電商推薦需求背景 259
21.2 零售推薦場景的價值 260
21.3 達觀智能推薦在零售行業的應用案例 261
21.3.1 某知名運動品牌智能推薦案例 261
21.3.2 某知名日用品牌智能推薦案例 265
21.4 小結 268
第 22章 ChatGPT與大模型 270
22.1 語言模型發展史 271
22.1.1 統計語言模型 271
22.1.2 神經網絡語言模型 271
22.1.3 預訓練語言模型 272
22.1.4 大語言模型 272
22.2 全球大模型簡介 274
22.2.1 OpenAI大模型發展歷程 274
22.2.2 全球大模型發展歷程 274
22.3 大模型核心技術簡介 276
22.3.1 預訓練技術 276
22.3.2 微調技術 276
22.3.3 應用 282
22.4 大模型的應用場景 285
22.4.1 內容生成 286
22.4.2 問題解答 288
22.4.3 互動式對話 288
22.4.4 生產力工具/企業服務 289
22.4.5 特定硬件終端上的應用 289
22.4.6 搜索推薦 290
22.5 小結 291
第 23章 ChatGPT、大模型在推薦系統中的應用 294
23.1 大模型為什麽能應用於推薦系統 295
23.2 大模型在推薦系統中的應用方法 296
23.2.1 大模型用於數據處理與特徵工程 296
23.2.2 大模型用於召回與排序 298
23.2.3 大模型用於交互控制 315
23.2.4 大模型用於冷啟動 321
23.2.5 大模型用於推薦解釋 324
23.2.6 大模型用於跨領域推薦 325
23.3 大模型應用於推薦系統的問題及挑戰 326
23.3.1 大模型進行信息交互的形式限制 327
23.3.2 大模型輸入的token數量限制 327
23.3.3 位置偏差 328
23.3.4 流行度偏差 328
23.3.5 輸出結果的隨機性 328
23.4 大模型推薦系統的發展趨勢與行業應用 329
23.4.1 大模型和傳統推薦系統互為補充 329
23.4.2 融合多模態信息是大模型推薦系統的發展方向 330
23.4.3 基於增量學習的大模型推薦系統一定會出現 330
23.4.4 對話式推薦系統會成為重要的產品形態 330
23.4.5 借助大模型，推薦和搜索有可能合二為一 331
23.5 小結 331
第 24章 推薦系統的未來發展 336
24.1 政策及技術發展對推薦系統行業的影響 337
24.1.1 政策層面的影響 337
24.1.2 技術層面的影響 338
24.2 推薦系統行業的就業環境變化 338
24.2.1 推薦算法商業策略師是新的職業方向 339
24.2.2 在特定領域和場景下出現新的推薦形態 339
24.2.3 推薦系統行業從業者需要更加關註業務價值產出 339
24.3 推薦系統的應用場景及交互方式 340
24.3.1 家庭場景 340
24.3.2 車載場景 341
24.3.3 VR/AR/MR場景 342
24.3.4 傳統行業的精細化、個性化運營場景 342
24.4 推薦算法與工程架構的發展 343
24.4.1 推薦算法的新範式 343
24.4.2 推薦系統工程層面的發展變化 345
24.5 人與推薦系統的有效協同 347
24.6 推薦系統多維價值體現 348
24.7 小結 348
附錄A 推薦系統預備知識 350
