LLM 最強重武裝 - RAG 開發應用優化現場直擊

嚴燦平

畢業於南京理工大學計算機系，南京大學工商管理碩士。先後就職於聯創（後與亞信科技合併）擔任軟件工程師與設計師，甲骨文中國（Oracle）擔任中國區企業架構部首席架構師，上海慧問資訊科技有限公司擔任合夥人兼技術總監。現為獨立IT諮詢顧問，公眾號「AI大模型應用實踐」主理人。擁有超過20年的企業軟件從業經驗，專注於企業軟件架構設計、互聯網時代傳統行業的IT轉型、人工智慧與大資料技術在企業應用的創新等。曾擔任多項大型企業級軟件系統核心架構師與諮詢師，參與包括中國移動、中國電信等通信行業客戶的核心業務運營支撐系統建設、智慧城市與政務行業互聯網轉型的IT諮詢與規劃。精通多種計算機軟件開發技術與IT架構方法論，對移動互聯網、大資料、人工智慧在企業領域應用有深入的研究與實施經驗。

▌預備篇
►第1章 了解大模型與 RAG
1.1 初識大模型
1.1.1 大模型時代：生成式AI 應用的爆發
1.1.2 大模型應用的持續進化
1.1.3 大模型是無所不能的嗎
1.2 了解RAG
1.2.1 為什麼需要RAG
1.2.2 一個簡單的RAG 場景
1.3 RAG 應用的技術架構
1.3.1 RAG 應用的經典架構與流程
1.3.2 RAG 應用面臨的挑戰
1.3.3 RAG 應用架構的演進
1.4 關於RAG 的兩個話題
1.4.1 RAG 與微調的選擇
1.4.2 RAG 與具有理解超長上下文能力的大模型

►第2章 RAG 應用程式開發環境架設
2.1 開發RAG 應用的兩種方式
2.1.1 使用低程式開發平臺
2.1.2 使用大模型應用程式開發框架
2.2 RAG 應用程式開發環境準備
2.2.1 硬體環境建議
2.2.2 基礎大模型
2.2.3 嵌入模型
2.2.4 Python 虛擬執行環境
2.2.5 Python IDE 與開發外掛程式
2.2.6 向量庫
2.2.7 LlamaIndex 框架
2.3 關於本書開發環境的約定
【預備篇小結】

▌基礎篇
►第3章 初識 RAG 應用程式開發
3.1 開發一個最簡單的RAG 應用
3.1.1 使用原生程式開發
3.1.2 使用LlamaIndex 框架開發
3.1.3 使用LangChain 框架開發
3.2 如何追蹤與偵錯RAG 應用
3.2.1 借助LlamaDebugHandler
3.2.2 借助第三方的追蹤與偵錯平臺
3.3 準備：基於LlamaIndex 框架的RAG 應用程式開發核心組件

►第4章 模型與 Prompt
4.1 大模型
4.1.1 大模型在RAG 應用中的作用
4.1.2 大模型元件的統一介面
4.1.3 大模型元件的單獨使用
4.1.4 大模型元件的整合使用
4.1.5 了解與設置大模型的參數
4.1.6 自訂大模型元件
4.1.7 使用LangChain 框架中的大模型元件
4.2 Prompt 
4.2.1 使用Prompt 範本
4.2.2 更改預設的Prompt 範本
4.2.3 更改Prompt 範本的變數
4.3 嵌入模型
4.3.1 嵌入模型在RAG 應用中的作用
4.3.2 嵌入模型元件的介面
4.3.3 嵌入模型元件的單獨使用
4.3.4 嵌入模型元件的整合使用
4.3.5 了解與設置嵌入模型的參數
4.3.6 自訂嵌入模型元件

►第5章 資料載入與分割
5.1 理解兩個概念：Document 與Node
5.1.1 什麼是Document 與Node
5.1.2 深入理解Document 與Node
5.1.3 深入理解Node 物件的中繼資料
5.1.4 生成Document 物件
5.1.5 生成Node 物件
5.1.6 中繼資料的生成與取出
5.1.7 初步了解IndexNode 類型
5.2 資料載入
5.2.1 從本地目錄中載入
5.2.2 從網路中載入資料
5.3 資料分割
5.3.1 如何使用資料分割器
5.3.2 常見的資料分割器
5.4 資料攝取管道
5.4.1 什麼是資料攝取管道
5.4.2 用於資料攝取管道的轉換器
5.4.3 自訂轉換器
5.4.4 使用資料攝取管道
5.5 完整認識資料載入階段

►第6章 資料嵌入與索引
6.1 理解嵌入與向量
6.1.1 直接用模型生成向量
6.1.2 借助轉換器生成向量
6.2 向量儲存
6.2.1 簡單向量儲存
6.2.2 第三方向量儲存
6.3 向量儲存索引
6.3.1 用向量儲存建構向量儲存索引物件
6.3.2 用Node 清單建構向量儲存索引物件
6.3.3 用文件直接建構向量儲存索引物件
6.3.4 深入理解向量儲存索引物件
6.4 更多索引類型
6.4.1 文件摘要索引
6.4.2 物件索引
6.4.3 知識圖譜索引
6.4.4 樹索引
6.4.5 關鍵字表索引

►第7章 檢索、回應生成與 RAG 引擎
7.1 檢索器
7.1.1 快速建構檢索器
7.1.2 理解檢索模式與檢索參數
7.1.3 初步認識遞迴檢索
7.2 回應生成器
7.2.1 建構回應生成器
7.2.2 回應生成模式
7.2.3 回應生成器的參數
7.2.4 實現自訂的回應生成器
7.3 RAG 引擎：查詢引擎
7.3.1 建構內建類型的查詢引擎的兩種方法
7.3.2 深入理解查詢引擎的內部結構和執行原理
7.3.3 自訂查詢引擎
7.4 RAG 引擎：對話引擎
7.4.1 對話引擎的兩種建構方法
7.4.2 深入理解對話引擎的內部結構和執行原理
7.4.3 理解不同的對話模式
7.5 結構化輸出
7.5.1 使用output_cls 參數
7.5.2 使用輸出解析器
【基礎篇小結】

▌高級篇
►第8章 RAG 引擎高級開發
8.1 檢索前查詢轉換
8.1.1 簡單查詢轉換
8.1.2 HyDE 查詢轉換
8.1.3 多步查詢轉換
8.1.4 子問題查詢轉換
8.2 檢索後處理器
8.2.1 使用節點後處理器
8.2.2 實現自訂的節點後處理器
8.2.3 常見的預先定義的節點後處理器
8.2.4 Rerank 節點後處理器
8.3 語義路由
8.3.1 了解語義路由
8.3.2 帶有路由功能的查詢引擎
8.3.3 帶有路由功能的檢索器
8.3.4 使用獨立的選擇器
8.3.5 可多選的路由查詢引擎
8.4 SQL 查詢引擎
8.4.1 使用NLSQLTableQueryEngine 元件
8.4.2 基於即時資料表檢索的查詢引擎
8.4.3 使用SQL 檢索器
8.5 多模態文件處理
8.5.1 多模態文件處理架構
8.5.2 使用LlamaParse 解析文件
8.5.3 多模態文件中的表格處理
8.5.4 多模態大模型的基礎應用
8.5.5 多模態文件中的圖片處理
8.6 查詢管道：編排基於Graph 的RAG 工作流
8.6.1 理解查詢管道
8.6.2 查詢管道支援的兩種使用方式
8.6.3 深入理解查詢管道的內部原理
8.6.4 實現並插入自訂的查詢組件

►第9章 開發 Data Agent
9.1 初步認識Data Agent
9.2 建構與使用Agent 的工具
9.2.1 深入了解工具類型
9.2.2 函數工具
9.2.3 查詢引擎工具
9.2.4 檢索工具
9.2.5 查詢計畫工具
9.2.6 隨選載入工具
9.3 基於函數呼叫功能直接開發Agent
9.4 用框架元件開發Agent
9.4.1 使用OpenAIAgent
9.4.2 使用ReActAgent
9.4.3 使用底層API 開發Agent
9.4.4 開發帶有工具檢索功能的Agent
9.4.5 開發帶有上下文檢索功能的Agent
9.5 更細粒度地控制Agent 的執行
9.5.1 分步可控地執行Agent
9.5.2 在Agent 執行中增加人類互動

►第10章 評估 RAG 應用
10.1 為什麼RAG 應用需要評估
10.2 RAG 應用的評估依據與指標
10.3 RAG 應用的評估流程與方法
10.4 評估檢索品質
10.4.1 生成檢索評估資料集
10.4.2 執行評估檢索過程的程式
10.5 評估回應品質
10.5.1 生成回應評估資料集
10.5.2 單次回應評估
10.5.3 批次回應評估
10.6 基於自訂標準的評估

►第11章 企業級 RAG 應用的常見最佳化策略
11.1 選擇合適的知識塊大小
11.1.1 為什麼知識塊大小很重要
11.1.2 評估知識塊大小
11.2 分離檢索階段的知識塊與生成階段的知識塊
11.2.1 為什麼需要分離
11.2.2 常見的分離策略及實現
11.3 最佳化對大文件集知識庫的檢索
11.3.1 中繼資料過濾 + 向量檢索
11.3.2 摘要檢索+ 內容檢索
11.3.3 多文件Agentic RAG
11.4 使用高級檢索方法
11.4.1 融合檢索
11.4.2 遞迴檢索

►第12章 建構點對點的企業級 RAG 應用
12.1 對生產型RAG 應用的主要考量
12.2 點對點的企業級RAG 應用架構
12.2.1 資料儲存層
12.2.2 AI 模型層
12.2.3 RAG 工作流與API 模組
12.2.4 前端應用模組
12.2.5 背景管理模組
12.3 點對點的全端RAG 應用案例
12.3.1 簡單的全端RAG 查詢應用
12.3.2 基於多文件Agent 的點對點對話應用

►第13章 新型 RAG 範式原理與實現
13.1 自校正RAG：C-RAG
13.1.1 C-RAG 誕生的動機
13.1.2 C-RAG 的原理
13.1.3 C-RAG 的實現
13.2 自省式RAG：Self-RAG
13.2.1 Self-RAG 誕生的動機
13.2.2 Self-RAG 的原理
13.2.3 Self-RAG 的實現
13.2.4 Self-RAG 的最佳化
13.3 檢索樹RAG：RAPTOR
13.3.1 RAPTOR 誕生的動機
13.3.2 RAPTOR 的原理
13.3.3 RAPTOR 的實現
【高級篇小結】