AI智能體構建指南：工作流、微調、優化與生產級部署

西南·奧茲德米爾（Sinan Ozdemir） 西南·奧茲德米爾（Sinan Ozdemir）是LoopGenius的創始人兼首席技術官，該公司運用前沿人工智能技術助力大眾創業與經營管理。西楠曾任約翰斯·霍普金斯大學數據科學講師，著有多部數據科學與機器學習教材。此外，他還是近期被收購的Kylie.ai創始人——該企業級對話式人工智能平臺具備機器人流程自動化（RPA）功能。西楠持有約翰斯·霍普金斯大學純數學碩士學位，現定居於加利福尼亞州舊金山。

第一部分 AI、LLM 與實驗基礎入門 第 1 章 AI、LLM 與智能體導論003 引言 003 LLM 基礎003 什麼是語言模型——它是本書所說的“AI”嗎 004 參數量 006 上下文窗口 007 LLM 任務譜系010 對齊010 提示詞工程 012 提示詞排序 013 思維鏈014 少樣本學習 015 提示鏈016 LLM 的特殊功能 018 推理參數018 提示詞緩存020 結構化輸出025 工具調用026 LLM 工作流027 AI 智能體027 ReAct智能體028 結語031 第 2 章 LLM 工作流初探033 引言033 案例研究：文本轉 SQL 工作流034 探索性數據分析037 第一個LLM工作流040 第一步：將證據索引到數據庫041 第二步：搭建整體LangGraph框架044 第三步：實現證據檢索045 第四步：編寫SQL生成提示詞 049 第五步：整合所有組件052 調用RAG工作流056 無狀態工作流與有狀態工作流057 結語062 第 3 章 AI 評估與實驗063 引言063 LLM 的評估與實驗063 案例研究 1 重訪：文本轉 SQL 工作流065 評估SQL生成：自由文本回答 066 評估證據檢索 072 評估領域難度 080 案例研究 2：“簡單”摘要提示詞 082 實驗：提示鏈摘要085 結語088 第二部分 以 AI 智能體、工作流與多模態推動實質進展 第 4 章 AI 智能體與多智能體工作負載初探091 引言091 案例研究 1：從 RAG 到智能體091 定義工具094 評估SQL智能體100 實驗：延伸心智論與智能體記憶 107 何時選擇工作流，何時選擇智能體111 案例研究 2：（近乎）端到端的 SDR 112 智能體1：線索生成 113 MCP：靈活的工具發現機制 114 MCP1：網絡搜索+ 網絡爬取 116 MCP2：HubSpot CRM管理 119 智能體2：線索審核121 智能體3：線索陌拜郵件發送123 MCP3：Resend郵件發送服務124 何時選擇多智能體，何時選擇單智能體124 使用Streamlit對三個智能體進行臨時測試126 評估智能體127 LangSmith：可追溯性工具128 結語130 第 5 章 以提示詞工程、工作流與多智能體提升智能體能力131 引言131 案例研究 1：智能體規則合規與合成數據生成 132 構建規則合規測試集132 構建規則機器人智能體135 BM25：回歸經典135 對智能體進行提示詞工程138 在響應質量和指令對齊方面評估我們的智能體140 案例研究 2：深度研究與內容生成——智能體工作流實踐142 規劃組件143 反思組件145 深度研究智能體工作流146 使用深度研究撰寫定制新聞簡報 150 多智能體架構151 示例：基於網絡的多智能體架構 153 案例研究 重訪：為我們的 SDR 團隊增加一個監督者智能體158 案例研究 3：智能體工具選擇性能160 在工具選擇準確率、精確率和召回率上的投入162 工具選擇中的位置偏差166 結語167 第 6 章 超越自然語言：多模態與編程 AI169 引言169 多模態 AI 概論169 將不同模態嵌入同一向量空間170 從一種模態映射至另一種模態 174 將所有模態錨定至主模態175 多種模態數據聯合建模176 獨立處理各模態178 案例研究 1：圖像檢索流水線 179 案例研究 2：使用 Moondream 進行視覺問答185 案例研究 3：帶有圖像生成、文件操作和 Moondream 的編程智能體188 使用Inception的Mercury擴散語言模型構建編程智能體 189 賦予智能體圖像生成能力196 集成Moondream199 全模態模型的必要性201 結語202 第三部分 以微調、框架與推理模型優化工作負載 第 7 章 推理模型與計算機操控205 引言205 智能七大支柱205 上下文工程框架207 案例研究 1：推理模型基準測試209 推理何時有用 212 在HLE上比較LLM推理力度 217 用MathQA對推理LLM進行提示測試 218 推理模型在 ReAct 智能體中的應用221 案例研究 2：計算機操控223 真正的多模態計算機操控與模態錨定的文本型計算機操控223 用推理模型對計算機操控進行基準測試225 用LangGraph構建計算機操控231 推理LLM的最終裁定235 結語235 第 8 章 以微調實現經模型校準的性能237 引言237 案例研究 1：分類 vs 多選題 239 app_reviews數據集241 LLM模型校準 244 在測試集上評估基準LLM 246 微調LLM248 比較成本與速度251 數據隱私255 在準確率、成本、速度與隱私之間進行權衡256 自由文本回答中的模型校準257 案例研究 2：領域自適應259 對規定文檔進行分塊262 在愛彼迎條款上微調Qwen3-8B推理LLM 266 評估經過領域自適應的LLM270 結語272 第 9 章 面向生產部署的 AI 模型優化273 引言273 模型壓縮 274 量化275 蒸餾278 案例研究 1：使用 Qwen 進行推測解碼281 案例研究 2：語音機器人——對速度的需求 284 尋找最快的STT和TTS模型285 案例研究 3：微調嵌套嵌入 289 嵌套嵌入291 嘗試不同的訓練方案293 最終結果295 案例研究N + 1：接下來是什麼296