基於Python學AI:從機器學習到大模型智能體開發

陳剛：北京華佑科技有限公司技術合夥人，擁有超過25年IT從業經歷，聚焦於技術運營及智能運維領域。工作遍及通信運營商、日本軟件開發企業、美國電商公司、國內頭部金融企業及IT咨詢公司。 中國信通院SRE標準核心起草人員之一。已出版《Python語言運維開發：基於Django和Vue的自動化發布系統實戰》《Go 語言運維開發 : Kubernetes 項目實戰》等多部作品。GOPS2021~2024連續三年評為GOPS 全球運維大會金牌講師。DevOps、SRE、AIOps培訓講師。

李野：具有大量互聯網及金融公司一線開發工作經驗，現在上海彬達學院計算機專業任教。

第1章 為什麼用Python學 AI 1

1.1 AI發展簡史 1

1.2 Python在 AI領域的核心優勢  5

1.2.1 AI開發的全棧工具箱 5

1.2.2 降低 AI學習的技術門檻  6

1.2.3 產學研閉環的通用 AI語言  7

1.3 Python開發環境搭建  7

1.3.1 Python語言環境安裝  7

1.3.2 Python虛擬環境支持  10

1.3.3 PyCharm 開發環境  11

1.3.4 Jupyter開發環境  13

1.4 小 結 14

第2章 Python基礎知識  15

2.1 Python核心語法  15

2.1.1 變量與數據類型 15

2.1.2 類型轉換 16

2.1.3 if-else判斷17

2.1.4 循環控制 19

2.1.5 函數封裝 20

2.2 Python基本數據結構  21

2.2.1 列 表 21

2.2.2 元 組 23

2.2.3 集 合 24

2.2.4 字 典 25

2.2.5 數據結構小結 27

2.3 Python面向對象基礎  28

2.3.1 類的定義與實例化 28

2.3.2 類的繼承與多態 30

2.3.3 面向對象編程小結 33

2.4 Python包與模塊管理  34

2.4.1 包與模塊的基礎知識… 34

2.4.2 包與模塊最佳實踐 37

2.5 常用的 AI相關庫簡介 39

2.6 小 結40

第3章 Python數據處理“三劍客” 41

3.1 NumPy  41

3.1.1 NumPy數組  41

3.1.2 NumPy主要運算機制  43

3.1.3 用 NumPy進行數據預處理  46

3.2 Pandas  48

3.2.1 DataFrame 48

3.2.2 數據清洗 53

3.2.3 數據篩選與分組 57

3.3 Matplotlib  61

3.3.1 核心語法規則 61

3.3.2 數據可視化———典型圖表實戰 63

3.3.3 進階技巧 70

3.4 小 結 72

第4章 機器學習基礎  73

4.1 機器學習核心認知 73

4.1.1 機器學習的定義與本質:數據驅動的自主學習  73

4.1.2 三大分類:有監督學習、無監督學習、強化學習  74

4.2 機器學習與 AI、深度學習、大模型之間的關系  75

4.2.1 層級框架 75

4.2.2 場景差異 76

4.3 機器學習與規則編程的本質差異 77

4.3.1 核心對比 77

4.3.2 代碼對比 77

4.4 機器學習工具:從數據到模型  80

4.4.1 數據預處理:覆用 Pandas+NumPy  80

4.4.2 模型工具:Scikit learn入門  81

4.5 小 結 84

第5章 機器學習主要算法  85

5.1 回歸算法 85

5.1.1 回歸算法基礎 86

5.1.2 線性回歸 87

5.1.3 嶺回歸 91

5.2 分類算法 94

5.2.1 分類定義 94

5.2.2 邏輯回歸 95

5.2.3 KNN  97

5.2.4 決策樹 99

5.2.5 SVM  102

5.2.6 分類效果評估  104

5.3 無監督學習算法  108

5.3.1 K Means  108

5.3.2 層次聚類  112

5.3.3 PCA  114

5.3.4 無監督學習算法的評估  116

5.4 集成算法  117

5.4.1 集成學習的邏輯:Bagging與 Boosting 117

5.4.2 隨機森林  118

5.4.3 XGBoost  122

5.5 小 結  127

第6章 深度學習入門 129

6.1 深度學習的起源  129

6.1.1 從機器學習到深度學習  129

6.1.2 深度學習的三大核心特征  130

6.2 深度學習的數學基礎  133

6.2.1 線性代數核心工具 133

6.2.2 微積分  137

6.2.3 概率與統計基礎  141

6.3 神經網絡的基本結構  146

6.3.1 神經元模型  146

6.3.2 神經網絡的層級結構 149

6.3.3 激活函數的作用與類型  151

6.4 神經網絡的訓練原理  158

6.4.1 損失函數的定義與選擇  159

6.4.2 反向傳播算法  163

6.4.3 梯度下降的變體  169

6.5 深度學習通用實踐基礎  175

6.5.1 數據預處理核心方法  175

6.5.2 基礎優化工具與指標  181

6.6 小 結  189

第7章 深度學習核心網絡結構與實戰 190

7.1 卷積神經網絡的原理、實戰與優化 191

7.1.1 CNN 的核心思想與組件 191

7.1.2 經典 CNN 架構簡介  193

7.1.3 基於 CNN 的 MNIST 識別  196

7.2 循環神經網絡的原理、實戰與優化 208

7.2.1 RNN 的核心思想與組件 208

7.2.2 RNN 的梯度問題與改進 209

7.2.3 實戰案例:基於 LSTM 的時間序列預測  210

7.2.4 GRU 網絡實戰:商品銷量時序預測  220

7.3 自編碼器的原理、實戰與優化 231

7.3.1 自編碼器的核心思想與結構  232

7.3.2 自編碼器的變體與特性  234

7.3.3 實戰案例:基於自編碼器的設備故障預測 235

7.4 小 結  248

第8章 大模型核心原理與開發工具環境 250

8.1 大模型技術演進與核心原理  250

8.1.1 從機器學習到大模型的技術演進  250

8.1.2 大模型技術發展簡史  253

8.1.3 Transformer架構原理 256

8.1.4 預訓練與核心技術原理  263

8.2 開發工具與環境全配置  266

8.2.1 UV 虛擬環境的搭建  267

8.2.2 核心依賴安裝  269

8.2.3 深度解析核心開發工具  271

8.3 小 結  284

第9章 從零開始實現大模型 285

9.1 預訓練大模型的核心原理  285

9.1.1 Decoder only:預訓練大模型的主流架構  285

9.1.2 自回歸預訓練任務:因果語言建模 286

9.2 自定義語料構建  287

9.2.1 語料設計思路  287

9.2.2 最終語料  287

9.3 數據預處理  288

9.3.1 環境準備  288

9.3.2 構建詞匯表  288

9.3.3 語料編碼  289

9.3.4 構建訓練數據集  289

9.3.5 數據加載器  290

9.4 核心組件實現  291

9.4.1 位置編碼  291

9.4.2 掩碼自註意力  292

9.4.3 TransformerDecoder塊 295

9.5 完整模型定義  296

9.6 預訓練任務設計  299

9.7 模型訓練與驗證  301

9.8 模型推理與文本生成  302

9.9 大模型預訓練優化思路  306

9.9.1 大模型語料  306

9.9.2 分詞器tokenizer 311

9.9.3 工程優化  319

9.10 大模型的能力疑惑 323

9.11 小 結327

第10章 大模型微調、對齊、壓縮與部署 328

10.1 大模型微調技術解析及實踐329

10.1.1 什麼是大模型微調 329

10.1.2 為什麼需要微調 330

10.1.3 微調技術的演化 330

10.1.4 微調實操 331

10.2 模型對齊 350

10.2.1 對齊技術的原理 350

10.2.2 對齊技術進化史 350

10.2.3 對齊技術代碼實踐 352

10.3 模型壓縮 357

10.3.1 大模型壓縮三大核心路徑 357

10.3.2 Distilgpt2模型量化實踐  359

10.4 模型部署 360

10.4.1 個人計算機輕量化部署 361

10.4.2 企業工程化部署 361

10.5 模型調用 367

10.5.1 LangChain框架介紹 367

10.5.2 LangChain連接 DeepSeekAPI實踐  368

10.6 小 結 370

第11章 基於大模型的智能體開發技術  371

11.1 大模型智能體概述 371

11.1.1 從經典 AI到現代大模型智能體  371

11.1.2 大模型智能體的核心架構372

11.2 提示詞工程 373

11.2.1 提示詞工程的價值 373

11.2.2 核心提示詞技巧 375

11.3 檢索增強生成的原理與實現 380

11.3.1 RAG 的核心價值 380

11.3.2 基於 LangChain+Chroma的 RAG 實現 382

11.4 大模型智能體的開發 387

11.4.1 LangChainAgent核心組件解析  387

11.4.2 LangChainAgent的工作機制與執行流程  390

11.4.3 LangChainAgent的核心優勢與 MCP協議集成  390

11.5 實踐案例:從單智能體到多智能體  391

11.5.1 RAG 增強的產品問題 Agent  391

11.5.2 MCP 跨平臺智能體  395

11.5.3 多智能體協作系統 399

11.6 小 結 404

第12章 AI智能體應用案例實踐 405

12.1 使用 Coze改寫微信文章並發布到公眾號  405

12.1.1 獲取微信公眾號信息405

12.1.2 新建 Coze工作流  405

12.1.3 新增及設置工作流節點 406

12.1.4 測試工作流 413

12.2 使用 Dify搭建 AI電子客服機器人414

12.2.1 準備知識庫數據 414

12.2.2 新建 DifyChatflow  415

12.2.3 設計 Dify工作流 415

12.2.4 測試 Dify工作流  418

12.3 使用n8n通過接口請求自動發送郵件  419

12.4 使用 LangGraph多運維智能體進行故障診斷  421

12.4.1 構建模擬數據 422

12.4.2 構建 LangGraph運行圖  422

12.4.3 運行測試 427

12.5 個人助理智能體的安裝使用 OpenClaw Agent 427

參考文獻