越賣越多的祕密 - 使用 LLM 實作推薦系統及演算法

劉強

2009年畢業於中國科學技術大學，有15年大數據與AI相關實踐經驗。出版過暢銷書《推薦系統：算法、案例與大模型》和《構建企業級推薦系統：算法、工程實現與案例分析》，參與翻譯《AI革命：人工智能如何為商業賦能》、《認識AI：人工智能如何賦能商業（原書第2版）》、《MongoDB性能調優實戰》等書。

目前擔任杭州數卓信息技術有限公司CEO，公司業務方向為大模型推薦系統、大模型搜索、大模型知識庫等，致力於幫助企業利用大模型技術進行降本、提效與精細化運營。兼任愛搭（Alda）高級技術顧問，與愛搭一同推動推薦系統及大模型技術在行業內落地應用。

▌第1章 基礎知識

1.1 大模型相關資源

1.1.1 可用的模型及API

1.1.2 資料資源

1.1.3 軟體資源

1.1.4 硬體資源

1.2 大模型預訓練

1.2.1 資料收集與前置處理

1.2.2 確定模型架構

1.2.3 確定目標函式及預訓練

1.2.4 解碼策略

1.3 大模型微調

1.3.1 微調原理

1.3.2 指令微調

1.3.3 對齊微調

1.4 大模型線上學習

1.4.1 提示詞

1.4.2 上下文學習

1.4.3 思維鏈提示詞

1.4.4 規劃

1.5 大模型推理

1.5.1 高效推理技術

1.5.2 高效推理軟體工具

1.6 總結

 

▌第2章 資料準備與開發環境準備

2.1 MIND 資料集介紹

2.2 Amazon 電子商務資料集介紹

2.3 開發環境準備

2.3.1 架設CUDA 開發環境

2.3.2 架設MacBook 開發環境

2.4 總結

 

▌第3章 大模型推薦系統的資料來源、一般想法和4 種範式

3.1 大模型推薦系統的資料來源

3.1.1 大模型相關的資料

3.1.2 新聞推薦系統相關的資料

3.1.3 將推薦資料編碼為大模型可用資料

3.2 將大模型用於推薦的一般想法

3.3 將大模型應用於推薦的4 種範式

3.3.1 基於大模型的生成範式

3.3.2 基於PLM 的預訓練範式

3.3.3 基於大模型的微調範式

3.3.4 基於大模型的直接推薦範式

3.4 總結

 

▌第4章 生成範式：大模型生成特徵、訓練資料與物品

4.1 大模型生成嵌入特徵

4.1.1 嵌入的價值

4.1.2 嵌入方法介紹

4.2 大模型生成文字特徵

4.2.1 生成文字特徵

4.2.2 生成文字特徵的其他方法

4.3 大模型生成訓練資料

4.3.1 大模型直接生成表格類資料

4.3.2 大模型生成監督樣本資料

4.4 大模型生成待推薦物品

4.4.1 為使用者生成個性化新聞

4.4.2 生成個性化的視訊

4.5 總結

 

▌第5章 預訓練範式：透過大模型預訓練進行推薦

5.1 預訓練的一般想法和方法

5.1.1 預訓練資料準備

5.1.2 大模型架構選擇

5.1.3 大模型預訓練

5.1.4 大模型推理（用於推薦）

5.2 案例講解

5.2.1 基於PTUM 架構的預訓練推薦系統

5.2.2 基於P5 的預訓練推薦系統

5.3 基於MIND 資料集的程式實戰

5.3.1 預訓練資料集準備

5.3.2 模型預訓練

5.3.3 模型推理與驗證

5.4 總結

 

▌第6章 微調範式：微調大模型進行個性化推薦

6.1 微調的方法

6.1.1 微調的價值

6.1.2 微調的步驟

6.1.3 微調的方法

6.1.4 微調的困難與挑戰

6.2 案例講解

6.2.1 TALLRec 微調框架

6.2.2 GIRL：基於人類回饋的微調框架

6.3 基於MIND 資料集實現微調

6.3.1 微調資料準備

6.3.2 模型微調

6.3.3 模型推斷

6.4 總結

 

▌第7章 直接推薦範式：利用大模型的上下文學習進行推薦

7.1 上下文學習推薦基本原理

7.2 案例講解

7.2.1 LLMRank 實現案例

7.2.2 多工實現案例

7.2.3 NIR 實現案例

7.3 上下文學習推薦程式實現

7.3.1 資料準備

7.3.2 程式實現

7.4 總結

 

▌第8章 實戰案例：大模型在電子商務推薦中的應用

8.1 大模型賦能電子商務推薦系統

8.2 新的互動式推薦範式

8.2.1 互動式智慧體的架構

8.2.2 淘寶問問簡介

8.3 大模型生成使用者興趣畫像

8.3.1 基礎原理與步驟介紹

8.3.2 資料前置處理

8.3.3 程式實現

8.4 大模型生成個性化商品描述資訊

8.4.1 基礎原理與步驟介紹

8.4.2 資料前置處理

8.4.3 程式實現

8.5 大模型應用於電子商務猜你喜歡推薦

8.5.1 資料前置處理

8.5.2 模型微調

8.5.3 模型效果評估

8.6 大模型應用於電子商務連結推薦

8.6.1 資料前置處理

8.6.2 多路召回實現

8.6.3 相似度排序實現

8.6.4 排序模型效果評估

8.7 大模型如何解決電子商務冷啟動問題

8.7.1 資料準備

8.7.2 利用大模型生成冷啟動商品的行為樣本

8.7.3 利用大模型上下文學習能力推薦冷啟動商品

8.7.4 模型微調

8.7.5 模型效果評估

8.8 利用大模型進行推薦解釋，提升推薦說服力

8.8.1 資料準備

8.8.2 利用大模型上下文學習能力進行推薦解釋

8.8.3 模型微調

8.8.4 模型效果評估

8.9 利用大模型進行對話式推薦

8.9.1 對話式大模型推薦系統的架構

8.9.2 資料準備

8.9.3 程式實現

8.9.4 對話式推薦案例

8.10 總結