大模型Agent開發實踐

"- 吳昊天：九天Hector（B站），現為賦範空間(北京)科技有限公司創始人，同時兼任首席技術官&大模型產研中心負責人。主導並研發包括數據分析、機器學習、深度學習、大模型等爆款口碑體系課程，累計42000+名用戶參與課程學習。同時在2024年創立了大模型公益社區——賦範大模型技術社區，目前社區已有2W+成員，超過300W人次學習。- 陳誌鵬：木羽Cheney（B站），賦範空間大模型技術專家，全網粉絲1W+，視頻播放50W+。前國網高級算法工程師，8年技術從業經歷，技術棧主要包括Python Web開發、機器學習、NLP自然語言處理以及大模型，也是國內首批大模型工程師。現任賦範空間（北京）科技有限公司大模型技術負責人，以及賦範大模型社區共建人。- 王鈺：王鈺，中國傳媒大學在讀博士生，在機器學習、深度學習以及大模型領域具有紮實的理論基礎和豐富的實踐經驗。對大模型的原理、訓練優化及實際應用有深刻理解，並進行了大量的實踐嘗試。曾參與多項數據分析項目，產出多份高質量的數據分析報告，為企業和學術機構提供數據驅動的解決方案。"

目錄

第1章 大模型 Agent 基礎 1

1.1 AI Agent 發展歷程 1

1.1.1 從人工智能到現代 AI Agent 1

1.1.2 Agent 發展路徑 2

1.1.3 AI Agent 的應用 3

1.2 大模型 Agent 的核心概念 4

1.2.1 什麼是大模型 Agent 5

1.2.2 Agent 的核心組成部分 5

1.2.3 LLM 在 Agent 中的作用 6

1.3 主流 Agent 開發框架介紹 7

1.3.1 低代碼開發框架 7

1.3.2 基礎框架 8

1.3.3 代碼框架 8

1.3.4 Multi-Agent 框架 10

1.4 附加資源 11

第2章 大模型基礎與部署調用 12

2.1 主流大模型發展概覽 12

2.1.1 全球主流在線大模型 12

2.1.2 全球主流開源大模型 14

2.1.3 國內主流大模型 15

2.2 在線大模型 API 調用入門 17

2.2.1 在線大模型 API key 獲取指南 17

2.2.2 在線大模型 API 調用基本方法 18

2.2.3 在線大模型 API 核心參數詳解 19

2.3 本地大模型部署及使用 21

2.3.1 本地大模型部署需求概覽 21

2.3.2 本地大模型部署通用步驟 23

2.3.3 GLM 大模型本地部署指南 26

2.3.4 Qwen 大模型本地部署指南 29

2.3.5 第三方集成部署工具 32

2.4 附加資源 34

第3章 DeepSeek 安裝部署與 API調用流程 35

3.1 DeepSeek-V3 對話大模型 35

3.1.1 DeepSeek-V3 模型介紹 36

3.1.2 DeepSeek-V3 模型 API 調用 36

3.1.3 DeepSeek-V3 模型核心參數詳解 39

3.1.4 DeepSeek-V3 模型本地部署與調用 42

3.1.5 DeepSeek-V3 Function Calling 47

3.1.6 打造專屬聊天機器人：Open-WebUI接入 DeepSeek-V3 57

3.2 DeepSeek-R1 推理大模型 61

3.2.1 DeepSeek-R1 模型介紹 61

3.2.2 DeepSeek-R1 模型 API 調用 62

3.2.3 DeepSeek-R1 模型參數詳解 64

3.2.4 DeepSeek-R1 基礎開發應用 64

3.2.5 DeepSeek-R1 模型本地部署與調用 69

3.3 第三方工具集成部署 DeepSeek系列模型 73

3.3.1 SGLang 部署方案 74

3.3.2 LMDeploy 部署方案 74

3.3.3 vLLM 部署方案 76

3.3.4 Ollama 部署方案 76

3.4 附加資源 80

第4章 基於本地知識庫的 RAG 81

4.1 RAG 技術體系介紹 81

4.1.1 RAG 簡介 81

4.1.2 RAG 系統的核心組成模塊 82

4.1.3 文本向量化模塊創建 83

4.1.4 文檔加載與切分模塊創建 88

4.1.5 詞向量數據庫與向量檢索模塊 93

4.1.6 大模型問答模塊編寫 95

4.1.7 RAG Demo 完整流程演示 97

4.2 GraphRAG 項目介紹 99

4.2.1 傳統 RAG 技術實現流程與技術瓶頸 99

4.2.2 GraphRAG 技術方案的提出背景 100

4.2.3 GraphRAG 項目介紹及核心特點 102

4.2.4 GraphRAG 整體流程介紹 102

4.3 GraphRAG 安裝部署與調用 105

4.3.1 GraphRAG 安裝與項目創建 105

4.3.2 GraphRAG 索引過程執行 108

4.3.3 查看知識圖譜相關表格 110

4.3.4 GraphRAG 問答流程實現 114

4.3.5 GraphRAG 中知識圖譜可視化方法 125

第5章 RAG 應用實戰 130

5.1 GraphRAG 與 Ollama 本地部署流程實戰 130

5.1.1 基礎環境搭建 130

5.1.2 下載模型文件 132

5.1.3 借助 Ollama 調用本地大模型 133

5.1.4 構建 GraphRAG 檢索項目 136

5.1.5 修改 GraphRAG 源碼以適配Ollama 138

5.1.6 將 Ollama 接入微軟 GraphRAG 141

5.2 DeepSeek-V3 企業知識庫問答實戰 148

5.2.1 DeepSeek-V3 與 GraphRAG 148

5.2.2 GraphRAG 安裝與項目創建 148

5.2.3 GraphRAG 索引過程執行 150

5.2.4 GraphRAG 問答流程 154

5.2.5 導入核心模塊與關系組 155

5.2.6 設置模型參數 158

5.2.7 構建 LocalSearch 搜索引擎並進行問答 159

5.2.8 構建 GlobalSearch 搜索引擎並進行問答 162

5.3 DeepSeek-R1 本地知識庫問答 165

5.3.1 主流大模型 Web 對話開源框架概覽 165

5.3.2 Ollama+DeepSeek-R1-Distill 模型本地部署 166

5.3.3 AnythingLLM 安裝與使用 169

5.3.4 借助 AnythingLLM 執行本地知識庫問答流程 172

5.3.5 DeepSeek-R1 API 接入 AnythingLLM進行本地知識庫問答 176

5.4 附加資源 178

第6章 大模型微調實戰 179

6.1 大模型微調基礎 179

6.1.1 大模型為什麼需要微調 179

6.1.2 微調基礎概念介紹 180

6.1.3 高效微調的應用場景 182

6.1.4 主流微調工具介紹 183

6.1.5 模型微調的硬件要求與服務器環境配置 185

6.2 Qwen 大模型微調實戰 186

6.2.1 LLaMA-Factory 項目介紹與安裝 186

6.2.2 基於 LLaMA-Factory 模型的自我意識微調流程 190

6.2.3 微調數據集的創建過程 190

6.2.4 LoRA 微調腳本的創建與運行 193

6.2.5 微調權重合並與性能測試 196

6.3 DeepSeek-R1-Distill 高效微調 199

6.3.1 Unsloth 安裝部署 200

6.3.2 WandB 安裝與註冊 200

6.3.3 DeepSeek-R1 模型下載 202

6.3.4 下載推理模型微調數據集 205

6.3.5 借助 Unsloth 進行模型推理 206

6.3.6 帶入問答模板進行回答 210

6.3.7 原始模型的醫療問題問答 213

6.3.8 模型微調最小可行性實驗 215

6.3.9 完整高效微調實驗 223

6.4 附加資源 229

第7章 大模型 Agent 開發 230

7.1 從 0 到 1 構建 AI Agent 230

7.1.1 DeepSeek 在線 API 調用流程 230

7.1.2 LangChain 的整體架構及接入DeepSeek 模型 230

7.1.3 使用 LangChain 創建工具庫 232

7.1.4 使用 CrewAI 創建 AI Agent 233

7.2 LangChain+DeepSeek-V3 實現復雜 RAG 聊天機器人 238

7.2.1 LCEL 基本概念入門 238

7.2.2 基於 LCEL 實現 DeepSeek-V3 的集成 241

7.2.3 實現復雜 RAG 聊天機器人 243

7.3 附加資源 250

第8章 企業級 Agent 開發實戰 251

8.1 B 站動態數據&輿情分析智能體開發實戰——BiliAgent 251

8.1.1 BiliAgent 項目介紹 251

8.1.2 LangChain 應用開發框架整體介紹 253

8.1.3 LangChain 中的高階 RAG 構建 255

8.1.4 基於 LangChain 快速接入大模型 258

8.1.5 B 站 API 項目使用及實時數據處理 259

8.1.6 數據轉化器構建及基本 RAG 流程封裝 262

8.1.7 構建第一個 LangChain 生成鏈 264

8.1.8 鏈路 4 大高階優化方法 265

8.1.9 LangChain 到 LangGraph 的平滑過渡 268

8.1.10 LangGraph 構建 AI Agent 的底層原理 269

8.1.11 從源碼角度解析 LangGraph 中的節點、邊和循環圖 272

8.1.12 基於 LangGraph 框架構建項目工作流 275

8.1.13 LangServe 與 FastAPI 集成實現RestFul API 276

8.1.14 使用 Streamlit 構建 BiliAgent 前端用戶界面 277

8.2 附加資源 278