推薦算法

前言

第1章  推薦系統概要 1

1.1  從“啤酒與尿布”說起：推薦系統的值 1

1.1.1  信息炸時代的三駕馬車：搜索、推薦與大模型 2

1.1.2  推薦系統的廣泛應用 3

1.2  推薦系統的作用 4

1.2.1  對生產者的作用 4

1.2.2  對消費者的作用 5

1.2.3  對平臺的作用 5

1.3  推薦系統架構 6

1.3.1  推薦系統模型架構 6

1.3.2  推薦系統技術架構 8

1.4  本章總結 9

第2章  樣本與征 11

2.1  樣本 11

2.2  征 13

2.2.1  征分類 13

2.2.2  征篩選 16

2.2.3  征轉換 18

2.2.4  缺失值處理 20

2.3  本章總結 21

第3章  模型訓練與參數選擇 22

3.1  模型訓練 22

3.2  參數選擇 23

3.2.1  激活函數 24

3.2.2  損失函數 29

3.2.3  化器 33

3.3  本章總結 37

第4章  模型評估 38

4.1  離線評估 38

4.1.1  排序評估 39

4.1.2  召回評估 44

4.1.3  過擬合與欠擬合 48

4.2  線上實驗 51

4.2.1  A/B測試 51

4.2.2  離在線不一 53

4.3  本章總結 55

第5章  召回 57

5.1  基於策略的召回 57

5.2  I2I召回 58

5.2.1  基於統計的I2I 58

5.2.2  圖嵌入 59

5.2.3  圖經網絡 66

5.3  U2I召回 74

5.3.1  矩陣分解 74

5.3.2  雙塔召回 76

5.3.3  對比學習 89

5.4  近似檢索召回 93

5.4.1  TDM：基於樹結構的深度檢索 93

5.4.2  DR：端到端的深度路徑召回 96

5.4.3  二向箔：基於圖壓縮的“降維打擊” 101

5.5  本章總結 103

第6章  粗排 105

6.1  粗排的演化 105

6.2  雙塔模型 106

6.2.1  虛擬內核雙塔 107

6.2.2  三塔模型 109

6.3  深度模型 110

6.4  鏈路一性 112

6.4.1  知識蒸餾 112

6.4.2  樣本空間一性 114

6.5  本章總結 115

第7章  排 116

7.1  機器學習模型 117

7.1.1  LR：線性概率模型基石 117

7.1.2  FM：隱向量二交者 118

7.1.3  樹模型結構 121

7.2  深度學習模型 125

7.2.1  DNN：深度征隱式交 126

7.2.2  Wide&Deep：記憶與泛化聯合 127

7.2.3  DeepFM：FM與DNN融合 128

7.3  征交技術 129

7.3.1  PNN：基於乘積的顯式交 130

7.3.2  DCN：顯式高交 131

7.3.3  xDeepFM：向量級顯式高交 134

7.3.4  CAN：細粒度征協同網絡 138

7.4  序列建模 140

7.4.1  DIN：註意力序列建模基石 140

7.4.2  DIEN：興趣演化的深度網絡 142

7.4.3  BST：Transformer序列建模 146

7.4.4  DSIN：會話分區的興趣建模 155

7.5  長期序列建模 159

7.5.1  SIM：長行為序列兩段檢索 160

7.5.2  ETA：端到端的長序列哈希檢索 162

7.5.3  TWIN：“雙胞胎”兩段檢索 163

7.5.4  SDIM：哈希碰撞一段檢索 166

7.6  本章總結 168

第8章  重排 170

8.1  多樣性重排 171

8.1.1  MMR: 相關性與多樣性平衡 171

8.1.2  DPP：行列式多樣性建模 172

8.2  一段式重排 174

8.2.1  miRNN：用戶興趣循環網絡 175

8.2.2  PRM：上下文個性化重排 178

8.2.3  SRGA：基於感知範圍的註意力 180

8.3  兩段式重排 182

8.4  強化學習重排 185

8.4.1  強化學習 185

8.4.2  GRN：序列元素級獎勵重排 186

8.4.3  CMR：全局序列級獎勵重排 190

8.5  端上重排 193

8.6  本章總結 198

第9章  多目標與多場景 200

9.1  多目標化 201

9.1.1  Shared Bottom：多目標參數共享基石 201

9.1.2  MMoE：共享家混合的多任務化 202

9.1.3  PLE：漸進式分層家分離網絡 204

9.1.4  ESMM：級聯式多目標建模 209

9.2  多目標融合 211

9.2.1  多目標損失融合 211

9.2.2  多目標分數融合 219

9.3  多場景 225

9.3.1  場景做征 226

9.3.2  STAR：共享與屬結合的星型拓撲 227

9.3.3  APG：面向新場景的快速自適應 228

9.4  本章總結 231

第10章  冷啟動 232

10.1  策略冷啟 232

10.1.1  用戶冷啟動 233

10.1.2  物品冷啟動 233

10.2  Bandit算法 233

10.2.1  Epsilon-Greedy：概率隨機探索的策略 234

10.2.2  UCB：置信區間上界的樂觀探索 236

10.2.3  托馬斯采樣：貝葉斯後驗采樣的概率匹配 237

10.3  稀疏Embedding化 238

10.3.1  群體Embedding初始化 239

10.3.2  CDN：記憶與泛化征聚合 239

10.3.3  MWUF：基於模型的冷啟動Embedding初始化 241

10.4  元學習 244

10.4.1  與機器學習的區別 244

10.4.2  元學習訓練過程 245

10.4.3  與遷移學習的區別 248

10.4.4  MeLU：元學習在推薦領域的應用 250

10.5  本章總結 251

第11章  偏差與糾偏 253

11.1  推薦系統中的偏差 253

11.1.1  偏差的根源 253

11.1.2  偏差的分類 253

11.1.3  偏差的交互與糾偏 255

11.2  位置糾偏 255

11.2.1  位置作征 255

11.2.2  淺層網絡：加法偏置網絡 256

11.2.3  PAL：乘法偏置網絡 257

11.2.4  DPIN：位置感知的細粒度征 交互網絡 258

11.3  曝光糾偏 260

11.3.1  全域學習 260

11.3.2  遷移學習 263

11.3.3  因果推斷 266

11.4  本章總結 269

第12章  大模型結合推薦算法 270

12.1  大模型概述 270

12.1.1  大模型應用場景 270

12.1.2  生成引擎化 272

12.1.3  LLM4Rec 274

12.2  大模型推薦系統 275

12.3  大模型征工程 277

12.3.1  HLLM：分層大模型的序列增強 278

12.3.2  NoteLLM-2：面向推薦的多模態大模型 281

12.4  生成式推薦 283

12.4.1  GRs：生成式推薦在召排的實踐 284

12.4.2  TIGER：更純粹的Transformer生成式召回 289

12.5  本章總結 292

第13章  推薦算法前沿實踐 294

13.1  LinUCB：雅虎在個性化冷啟動的實踐 294

13.1.1  LinUCB提出的業務背景 295

13.1.2  均值收益的線性模型 295

13.1.3  收益的置信上界 296

13.1.4  LinUCB個性化冷啟實驗 296

13.1.5  LinUCB實踐總結 298

13.2  ESCM2：阿裏巴巴-螞蟻的無偏多任務建模實踐 299

13.2.1  ESCM2提出的業務背景 299

13.2.2  理論基礎：逆傾向得分加權 299

13.2.3  增強穩健性：雙穩健估計器 300

13.2.4  ESCM2模型結構 301

13.2.5  ESCM2實驗效果評估 302

13.2.6  ESCM2實踐總結 303

13.3  RankMixer：在大規模征交中的實踐 304

13.3.1  RankMixer提出的業務背景 304

13.3.2  征令牌化 306

13.3.3  令牌混合 306

13.3.4  逐令牌前饋網絡 308

13.3.5  RankMixer實驗效果評估 309

13.3.6  RankMixer實踐總結 312

13.4  OneRec：的端到端生成式推薦實踐 312

13.4.1  OneRec提出的業務背景 313

13.4.2  征令牌化：融合多模態與協同信號的語義ID 313

13.4.3  預訓練：編碼器-解碼器架構 315

13.4.4  後訓練：獎勵模型與強化學習 對齊 317

13.4.5  後訓練：流式化與在線學習 320

13.4.6  OneRec實驗效果總結 321

13.4.7  OneRec實踐總結 324

13.5  本章總結 324