從零構建AI Agent：大模型應用開發實踐（80集視頻課）

陳光劍，AI 應用架構師，資深程序員、大數據與後端技術專家，擁有超過10年的技術研發和管理經驗，一線實戰經驗豐富。現就職於字節跳動，曾就職於阿裏巴巴，主要從事企業智能數字化經營管理、電商智能數字化運營等系統架構設計和研發工作。在大數據和企業級系統架構領域有非常深厚的積累，擅長大數據系統架構和分布式系統架構設計開發。同時在微服務架構和編程語言領域有非常豐富的實踐經驗，對函數式編程、領域建模和Kotlin、Go編程語言等技術有深入的理解和實踐，熱衷於新技術的學習和技術分享。著有《ClickHouse 入門實戰與進階》《Kotlin 極簡教程》《Spring Boot開發實戰》《Kotlin從入門到進階實戰》等技術書籍。

目 錄 第1章 AI Agent概述 ........................................................................................001 1.1 AI Agent 的定義 ........................................................................................................... 001 1.2 AI Agent 的核心特征 ................................................................................................... 002 1.3 核心組件與架構........................................................................................................... 003 1.3.1 核心組件 .......................................................................................................... 003 1.3.2 典型AI Agent架構模式 .................................................................................. 005 1.4 技術本質與能力邊界................................................................................................... 006 1.4.1 Agent的能力分層 ............................................................................................ 006 1.4.2 系統架構對比 .................................................................................................. 007 1.5 代碼示例講解............................................................................................................... 007 1.5.1 示例1：一個基礎對話 Agent 的實現 ............................................................ 007 1.5.2 示例2：展示Agentic AI的基本能力 .............................................................. 010 1.6　技術框架解析............................................................................................................... 017 1.7 應用場景....................................................................................................................... 019 1.8 核心價值....................................................................................................................... 021 1.9 典型案例....................................................................................................................... 023 1.10 本章小結..................................................................................................................... 032 第2章 LLM與提示工程基礎 .............................................................................034 2.1 LLM 技術概覽與選型指南 ......................................................................................... 034 2.1.1 LLM技術發展現狀 ......................................................................................... 034 2.1.2 全球大模型生態 .............................................................................................. 035 2.1.3 LLM的能力與局限性 ..................................................................................... 040 2.1.4 LLM選型思路 ................................................................................................. 043 2.1.5　代碼實踐：LLM API接入的統一範式 ............................................................ 043 2.2 提示工程核心技術....................................................................................................... 046 2.2.1 基礎提示設計與優化 ...................................................................................... 047 2.2.2 高級提示技術（思維鏈、自我反思） .............................................................. 048 2.2.3 提示模板設計與管理 ...................................................................................... 050 2.3 檢索增強生成基礎....................................................................................................... 051 2.3.1 RAG核心架構與工作原理 ............................................................................. 051 2.3.2 知識庫構建與檢索系統設計 .......................................................................... 054 2.3.3 RAG 系統的評估與優化：從“能用”到“好用”的必經之路 .................... 057 2.4 上下文工程：從“提示”到“程序”的範式飛躍.................................................... 060 2.4.1 定義：超越提示與檢索的宏觀學科 ............................................................... 060 2.4.2 核心隱喻：將 LLM 視為一個計算環境 ........................................................ 060 2.4.3 實踐價值：降低認知負荷，解鎖復雜任務 ................................................... 061 2.5 最新 LLM 技術的關鍵趨勢 ........................................................................................ 061 2.5.1 推理模型的崛起 .............................................................................................. 062 2.5.2 多模態能力的普及 .......................................................................................... 063 2.5.3 專業化與領域特定模型 .................................................................................. 063 2.5.4 效率優化與小型模型 ...................................................................................... 064 2.6 RAG 技術的發展與創新 ............................................................................................. 065 2.6.1 傳統RAG局限性的深入剖析 ......................................................................... 065 2.6.2 RAG範式的技術突破 ..................................................................................... 066 2.6.3 多模態RAG：文本與視覺知識的深度融合 .................................................. 067 2.6.4 未來展望：RAG智能體的自進化與工程願景 ............................................... 068 2.7 本章小結....................................................................................................................... 069 第3章 AI Agent開發環境與工具鏈搭建 ........................................................... 070 3.1 開發環境搭建............................................................................................................... 070 3.1.1 Python環境配置與依賴管理 .......................................................................... 070 3.1.2 核心依賴介紹 .................................................................................................. 071 3.1.3 LLM API接入與密鑰管理 .............................................................................. 079 3.1.4 開發框架 .......................................................................................................... 080 3.2 項目結構設計............................................................................................................... 084 3.2.1 模塊化架構設計 .............................................................................................. 084 3.2.2 配置管理與環境變量 ...................................................................................... 086 3.2.3 版本控制與協作流程 ...................................................................................... 087 3.3 項目示例：一個完整的對話 Agent ............................................................................. 087 3.4 本章小結....................................................................................................................... 094 第4章 QuickChat：基於LangChain的對話式Agent入門項目 ........................ 095 4.1 項目需求與架構設計................................................................................................... 095 4.1.1 構建輕量級對話助手的功能需求分析 .......................................................... 095 4.1.2 基於LangChain的模塊化架構設計 ............................................................... 096 4.1.3 RESTful API接口與數據流設計 .................................................................... 096 4.2 核心對話邏輯實現....................................................................................................... 097 4.2.1 對話系統核心組件 .......................................................................................... 097 4.2.2 會話管理實現 .................................................................................................. 099 4.3 思維鏈實現................................................................................................................... 105 4.3.1 功能概述 .......................................................................................................... 105 4.3.2 代碼實現詳解：構建具備結構化思考能力的對話引擎 ............................... 106 4.4 基於 Redis 的會話歷史管理系統 ............................................................................... 112 4.4.1 功能概述 .......................................................................................................... 112 4.4.2 代碼詳解 .......................................................................................................... 112 4.4.3 運行測試 .......................................................................................................... 118 4.4.4 用戶意圖分類與輸入預處理 .......................................................................... 122 4.4.5 輕量級會話狀態持久化實現 .......................................................................... 122 4.5 本章小結....................................................................................................................... 123 第5章 ArxivExplorer：學術論文研究助手Agent ............................................. 125 5.1 項目需求與系統設計................................................................................................... 125 5.1.1 科研工作者文獻檢索與需求分析 .................................................................. 125 5.1.2 基於微服務的學術助手系統架構 .................................................................. 126 5.1.3 數據流與API接口規範設計 ........................................................................... 126 5.2 知識庫構建實踐........................................................................................................... 127 5.2.1 arXiv API集成與論文數據采集 ..................................................................... 127 5.2.2 學術文獻的語義分塊與引用關系提取 .......................................................... 131 5.2.3 本地開源向量數據庫部署與索引優化 .......................................................... 133 5.3 RAG 系統實現 ............................................................................................................. 136 5.3.1 學術查詢的意圖理解與問題改寫 .................................................................. 137 5.3.2 基於語義相似度與引用網絡的混合檢索 ...................................................... 138 5.3.3 多篇論文結果的融合與關聯分析 .................................................................. 144 5.3.4 知識推理與答案生成：從事實檢索到洞察合成 ........................................... 146 5.4 系統評測與優化........................................................................................................... 153 5.4.1 雙軌並行：自動化指標與專家評審的結合 ................................................... 153 5.4.2 評估中文文本案例 .......................................................................................... 153 5.4.3 構建高質量的學術問答測試集 ...................................................................... 155 5.4.4 平衡檢索精度與推理深度的優化策略 .......................................................... 156 5.5 本章小結....................................................................................................................... 157 第6章 DataInsight：智能數據分析Agent ....................................................... 159 6.1 基於 ReAct 範式的數據分析工作流：讓 Agent 像分析師一樣思考與行動 ............ 159 6.1.1 奠定基石：環境準備與數據畫布 ................................................................... 159 6.1.2 核心實現：構建一個“知行合一”的智能數據分析Agent .......................... 160 6.1.3 技術原理解析： LLM與工具的協同機制 ...................................................... 163 6.2 多輪對話數據分析系統............................................................................................... 165 6.2.1 系統架構與循環機制概述 .............................................................................. 165 6.2.2 多輪對話與上下文追蹤實現 .......................................................................... 166 6.2.3 運行測試 .......................................................................................................... 168 6.3 實際應用案例............................................................................................................... 170 6.3.1 銷售數據趨勢分析與預測 .............................................................................. 170 6.3.2 用戶行為數據挖掘與洞察生成 ...................................................................... 175 6.4 本章小結....................................................................................................................... 178 第7章 DeepResearcher：基於MCP和browser-use實現深度研究Agent ...... 180 7.1 DeepResearcher 概述 ................................................................................................... 180 7.2 技術框架....................................................................................................................... 182 7.2.1 MCP簡介 ......................................................................................................... 182 7.2.2 LangGraph工作流引擎 ................................................................................... 182 7.2.3 browser-use技術 ............................................................................................. 183 7.2.4 FastAPI與Streamlit ........................................................................................ 183 7.3 核心組件....................................................................................................................... 184 7.3.1 研究服務器 ...................................................................................................... 184 7.3.2 客戶端服務器 .................................................................................................. 188 7.3.3 LangGraph工作流圖 ....................................................................................... 191 7.3.4 Streamlit應用 .................................................................................................. 194 7.4 功能實現....................................................................................................................... 198 7.4.1 網絡搜索與內容提取 ...................................................................................... 198 7.4.2 學術研究功能 .................................................................................................. 202 7.4.3 報告流式輸出 .................................................................................................. 203 7.5 部署與運行................................................................................................................... 207 7.5.1 Docker部署 ...................................................................................................... 207 7.5.2 擴展功能 .......................................................................................................... 209 7.5.3 性能優化 .......................................................................................................... 210 7.6 實際應用場景............................................................................................................... 212 7.6.1 學術研究助手 .................................................................................................. 212 7.6.2 市場研究工具 .................................................................................................. 213 7.6.3 內容創作助手 .................................................................................................. 214 7.7 案例應用....................................................................................................................... 215 7.7.1 案例1：搜索arXiv整理論文專題 ................................................................... 215 7.7.2 案例2：使用瀏覽器調研最新大模型趨勢 .................................................... 218 7.8 項目總結....................................................................................................................... 221 7.9 本章小結....................................................................................................................... 222