動手學推薦系統 — 基於 PyTorch 的算法實現 (微課視頻版)

 

 

 

 

目錄

第1章推薦系統的初步瞭解（ 28min）

 

1.1什麼是推薦系統

 

1.2推薦系統的由來

 

1.2.1Tapestry

 

1.2.2GroupLens

 

1.3推薦系統的概況

 

1.4推薦算法的概況

 

參考文獻

 

第2章基礎推薦算法（ 398min）

 

2.1協同過濾

 

2.2基礎近鄰指標

 

2.2.1CN相似度

 

2.2.2Jaccard相似度

 

2.2.3Cos相似度

 

2.2.4Pearson相似度

 

2.2.5Pearson相似度與Cos相似度之間的聯系

 

2.3基於近鄰的協同過濾算法

 

2.3.1UserCF

 

2.3.2行為相似與內容相似的區別

 

2.3.3ItemCF

 

2.3.4實戰： UserCF

 

2.3.5實戰： ItemCF

 

2.3.6實戰： 標註為1~5的評分

 

2.4推薦模型評估： 入門篇

 

2.4.1廣義的準確率、精確率、召回率

 

2.4.2推薦系統的準確率、精確率、召回率

 

2.4.3推薦列表評測

 

2.4.4對近鄰協同過濾模型進行評測

 

2.5進階近鄰指標

 

2.5.1UserIIF與ItemIUF

 

2.5.2更高效地利用流行度定義近鄰指標

 

2.5.3自定義相似度指標的範式

 

2.6矩陣分解協同過濾算法

 

2.6.1SVD矩陣分解

 

2.6.2將SVD用作推薦

 

2.6.3LFM隱因子模型

 

2.6.4ALS代碼實現

 

2.6.5推薦模型評估： MSE、RMSE、MAE

 

2.6.6以深度學習端到端訓練思維理解ALS

 

2.6.7ALS代碼實現PyTorch版

 

2.7邏輯回歸出發的推薦算法

 

2.7.1顯式反饋與隱式反饋

 

2.7.2邏輯回歸

 

2.7.3POLY2

 

2.7.4FM

 

2.7.5以深度學習端到端訓練思維理解FM

 

2.8本章總結

 

2.8.13個重要算法： 近鄰協同過濾、ALS、FM

 

2.8.2協同過濾算法總結

 

參考文獻

 

 

 

 

 

第3章進階推薦算法（ 351min）

 

3.1神經網絡推薦算法推導範式

 

3.1.1ALS+MLP

 

3.1.2特徵向量+MLP

 

3.1.3結合CNN的推薦

 

3.1.4結合RNN的推薦

 

3.1.5ALS結合RNN

 

3.1.6聯合訓練的RNN

 

3.1.7小節總結

 

3.2FM在深度學習中的應用

 

3.2.1FNN

 

3.2.2改進後的FNN

 

3.2.3Wide & Deep

 

3.2.4DeepFM

 

3.2.5AFM

 

3.2.6小節總結

 

3.3序列推薦算法

 

3.3.1基本序列推薦模型

 

3.3.2DIN與註意力計算方式

 

3.3.3從PReLU到Dice激活函數

 

3.3.4DIEN模擬興趣演化的序列網絡

 

3.4Transformer在推薦算法中的應用

 

3.4.1從推薦角度初步瞭解Transformer

 

3.4.2多頭註意力與縮放點乘註意力算法

 

3.4.3殘差

 

3.4.4Layer Normalization

 

3.4.5前饋神經網絡層

 

3.4.6位置編碼

 

3.4.7Transformer Encoder

 

3.4.8利用Transformer編碼器的推薦算法BST

 

3.4.9Transformer Decoder

 

3.4.10結合Transformer解碼器的推薦算法推導

 

3.5本章總結

 

參考文獻

 

第4章圖神經網絡與推薦算法（ 275min）

 

4.1圖論基礎

 

4.1.1什麼是圖

 

4.1.2無向圖與有向圖

 

4.1.3無權圖與有權圖

 

4.1.4同構圖與異構圖

 

4.1.5圖的表示： 鄰接矩陣

 

4.1.6圖的表示： 鄰接列表

 

4.1.7圖的表示： 邊集

 

4.1.8鄰居與度

 

4.1.9結構特徵、節點特徵、邊特徵

 

4.1.10處理圖的Python庫推薦

 

4.2基於圖的基礎推薦方式

 

4.2.1鏈路預測(Link Prediction)

 

4.2.2什麼是路徑

 

4.2.3基於路徑的基礎鏈路預測

 

4.2.4圖遊走算法DeepWalk

 

4.2.5圖遊走算法Node2Vec

 

4.3圖神經網絡

 

4.3.1GCN圖捲積網絡

 

4.3.2GAT圖註意力網絡

 

4.3.3消息傳遞

 

4.3.4圖採樣介紹

 

4.3.5圖採樣算法： GraphSAGE

 

4.3.6圖採樣算法： PinSAGE

 

4.4基於圖神經網絡的推薦

 

4.4.1利用GCN的推薦算法

 

4.4.2利用GAT的推薦算法

 

4.4.3圖神經網絡結合FM的推薦算法： GFM

 

4.4.4GFM加入註意力機制的推薦算法： GAFM

 

4.4.5小節總結

 

4.5本章總結

 

參考文獻

 

第5章知識圖譜與推薦算法（ 408min）

 

5.1知識圖譜基礎

 

5.1.1知識圖譜定義

 

5.1.2RDF到HRT三元組

 

5.1.3知識圖譜推薦算法與圖神經網絡推薦算法的發展脈絡

 

5.1.4知識圖譜推薦算法的概覽

 

5.1.5基於知識圖譜推薦的優劣勢

 

5.1.6Freebase數據集介紹

 

5.2Knowledge Graph Embedding知識圖譜嵌入

 

5.2.1翻譯距離模型TransE

 

5.2.2翻譯距離模型TransH

 

5.2.3翻譯距離模型TransR

 

5.2.4其他翻譯距離模型

 

5.2.5語義匹配模型RESCAL

 

5.2.6其他語義匹配模型

 

5.3基於知識圖譜嵌入的推薦算法

 

5.3.1利用知識圖譜嵌入做推薦模型的基本思路

 

5.3.2最簡單的知識圖譜推薦算法CKE

 

5.3.3CKE擴展及演化

 

5.3.4加強知識圖譜信息的影響： MKR

 

5.3.5MKR擴展

 

5.3.6針對更新頻率很快的新聞場景知識圖譜推薦算法： DKN

 

5.4基於知識圖譜路徑的推薦算法

 

5.4.1元路徑

 

5.4.2路徑相似度(PathSim)

 

5.4.3學習元路徑的權重： PER

 

5.4.4異構圖的圖遊走算法： MetaPath2Vec

 

5.4.5MetaPath2Vec的擴展

 

5.5知識圖譜嵌入結合圖路徑的推薦RippLeNet

 

5.5.1RippLeNet基礎思想

 

5.5.2RippLeNet計算過程

 

5.5.3水波圖採樣

 

5.5.4RippLeNet實際操作時的註意事項與代碼範例

 

5.6圖神經網絡與知識圖譜

 

5.6.1最基礎的基於圖神經網絡的知識圖譜推薦算法KGCN

 

5.6.2KGCN的擴展 KGNNLS

 

5.6.3圖註意力網絡在知識圖譜推薦算法中的應用KGAT

 

5.6.4GFM與知識圖譜的結合KGFM

 

5.7本章總結

 

參考文獻

 

第6章推薦系統的構造（ 228min）

 

6.1推薦系統結構

 

6.1.1預測服務概覽

 

6.1.2模型訓練概覽

 

6.1.3數據處理概覽

 

6.1.4推薦系統結構概覽

 

6.2預測服務部分

 

6.2.1邏輯召回

 

6.2.2近鄰召回

 

6.2.3Embedding召回

 

6.2.4基於模型的召回： 粗排序層

 

6.2.5精排序層

 

6.2.6小節總結

 

6.3LSHEmbedding匹配的加速算法

 

6.3.1MinHash

 

6.3.2LSH

 

6.3.3雙塔模型+LSH召回實戰

 

6.4模型訓練部分

 

6.4.1全量訓練與增量訓練

 

6.4.2定時訓練與實時訓練

 

6.4.3離線訓練與在線訓練

 

6.4.4小節總結

 

6.5數據處理部分

 

6.5.1特徵工程數據流

 

6.5.2用戶畫像與產品畫像

 

6.5.3生成標註

 

6.5.4負例採樣

 

6.5.5統計類數據流

 

6.5.6批處理與流處理

 

6.5.7大數據處理工具簡介： Spark

 

6.5.8大數據處理工具簡介： Flink

 

6.5.9小節總結

 

6.6冷啟動

 

6.6.1用戶冷啟動

 

6.6.2物品冷啟動

 

6.6.3物品冷啟動到沈寂的生命周期

 

6.6.4系統冷啟動

 

參考文獻

 

第7章推薦系統的評估（ 134min）

 

7.1基礎機器學習模型評測指標

 

7.1.1準確率

 

7.1.2精確率

 

7.1.3召回率

 

7.1.4F1Score

 

7.1.5ROC曲線

 

7.1.6AUC

 

7.1.7Log Loss

 

7.1.8MSE、RMSE、MAE

 

7.2TopK推薦評測指標

 

7.2.1TopK精確率與召回率

 

7.2.2TopK測試與普通模型測試的區別

 

7.2.3Mean Average Precision(MAP)

 

7.2.4Hit Ratio(HR)

 

7.2.5Mean Reciprocal Rank(MRR)

 

7.2.6Normalized Discounted Cumulative Gain(NDCG)

 

7.2.7小節總結

 

7.3業務性評測指標

 

7.3.1點擊率CTR (Click Through Rate)

 

7.3.2轉化率CVR (Conversion Rate)

 

7.3.3覆蓋率(Coverage)

 

7.3.4多樣性(Diversity)

 

7.3.5信息熵(Entropy)

 

7.3.6新穎度(Novelty)

 

7.3.7驚喜度(Surprise)

 

7.3.8小節總結

 

7.4在線對比測試

 

7.4.1A/B 測試

 

7.4.2交叉測試

 

7.4.3A/B測試與交叉測試的優劣勢

 

參考文獻

 

第8章推薦工程的生命周期（ 75min）

 

8.1瞭解數據與推薦目的

 

8.2初期的特徵篩選

 

8.2.1去除空值太多的特徵類目

 

8.2.2去除單一值太多的特徵類目

 

8.2.3去除一一映射關系的特徵

 

8.2.4計算信息增益比篩選特徵

 

8.2.5計算皮爾遜相關系數篩選特徵

 

8.2.6通過L1正則過濾特徵

 

8.2.7通過業務知識篩選特徵

 

8.3推薦系統結構設計

 

8.4模型研發

 

8.5搭建推薦系統

 

8.6優化推薦系統

 

參考文獻

 

結語（ 14min）