人工智能微積分基礎

王聖強，華東理工大學數學學院副教授、數學與應用數學系副主任，覆旦大學數學科學學院理學博士，先後榮獲第五屆上海高校青年教師教學競賽一等獎，上海市教學能手，校 共產黨員，校青年五四獎章，校教學新星、校研究生課程 任課教師等榮譽。 
薛棟，華東理工大學信息科學與技術學院副教授/碩士生導師，德國慕尼黑工業大學工學博士，“上海市高層次青年人才計劃”、“浦江人才計劃”獲得者。先後在荷蘭格羅寧根大學（RUG）、德國卡爾斯魯厄理工大學（KIT）從事教師和研究員工作。長期從事基於人工智能與大數據相關研究，包括自然語言處理與大語言模型、工業互聯網與工業軟件、覆雜網絡與多智能體系統等課題。以 作者或通訊作者在IEEE TAC、IEEE TSP、IEEE TNSE等 期刊上發表SCI論文30余篇，主持和參與完成多項包括 自然科學基金面上項目、上海市人才計劃項目、企業科研攻關項目等在內的課題。主講課程包括本科必修課《人工智能數學基礎》和研究生課程《自主無人系統》以及《工業互聯網關鍵技術》。 
段兆陽，華東理工大學信息科學與技術學院講師/碩士生導師、博士，長期從事基於人工智能與大數據相關研究，包括自然語言處理與大語言模型、工業互聯網與工業軟件、覆雜網絡與多智能體系統等課題，主講非線性系統理論及應用。 
周濤，哈爾濱工業大學計算機碩士，現就職於阿裏達摩院基礎大模型研發部門，負責大模型預訓練、參數調優和混合檢索增強工作。精通Python、C、C++、Java、C#開發語言，擅長人工智能、神經網絡和機器學習技術。近年來，隨著AI技術的蓬勃發展，個人團隊從事於將人工智能技術應用於智能制造中，嘗試將人工智能用在工業制造、機器人、物聯網開發駛中，並且取得了不錯的成績

第1章
微積分概述

1.1 微積分的歷史背景與發展 002

1.1.1 微積分的起源 002

1.1.2 經典數學家的貢獻 003

1.1.3 微積分在現代科學中的應用 006

1.2 微積分的基本概念 010

1.2.1 函數與極限的基本定義 011

1.2.2 導數與微分的基本思想 011

1.2.3 積分與面積的基本概念 011

1.3 微積分的核心理論 011

1.3.1 牛頓-萊布尼茨公式 012

1.3.2 連續性與可導性的概念 012

1.3.3 無窮小與無窮大的應用 012

1.4 微積分在科學與工程中的應用 012

1.4.1 微積分在物理學中的應用 013

1.4.2 微積分在工程學中的應用 013

1.4.3 微積分在計算科學中的應用 013

1.5 微積分在人工智能中的重要性 013

1.5.1 微積分在機器學習中的作用 014

1.5.2 微積分在深度學習中的應用 014

1.5.3 微積分在優化算法中的關鍵性 014

1.6 課後練習 014

第2章
函數與極限

2.1 函數的基本概念 017

2.1.1 函數的定義與分類 017

2.1.2 常見的函數類型 017

2.1.3 繪制不同類型的函數圖像 018

2.2 函數的性質 021

2.2.1 函數的單調性與凹凸性 021

2.2.2 極值、駐點與拐點分析 021

2.2.3 查找函數的極值和拐點並繪制圖像 022

2.3 極限的概念 025

2.3.1 極限的定義與基本性質 025

2.3.2 左極限、右極限與無窮極限 027

2.3.3 無窮小與無窮大的比較與應用 029

2.4 極限的求解方法 032

2.4.1 代入法與因式分解法 032

2.4.2 分母有理化與洛必達法則 033

2.4.3 利用 SymPy 求解函數的極限並驗證結果 034

2.5 連續性與可導性 034

2.5.1 函數的連續性與間斷點 034

2.5.2 可導函數的條件、性質與應用 035

2.5.3 用Python分析函數的連續性與
可導性 036

2.6 課後練習 037

第3章
導數與微分

3.1 導數的基本概念 039

3.1.1 導數的定義與幾何意義 039

3.1.2 導數的物理意義與在速度、加速度中的應用 039

3.1.3 Python 實例：利用 SymPy 計算函數的導數並繪制切線與速度圖 040

3.2 導數的計算規則 042

3.2.1 和差、乘積與商的求導法則 042

3.2.2 鏈式法則與隱函數求導法 043

3.2.3 Python 實例：使用 SymPy 實現覆雜函數的求導並分析 043

3.3 常見函數的導數 045

3.3.1 多項式函數的導數 045

3.3.2 指數與對數函數的導數 046

3.3.3 三角函數與反三角函數的導數 046

3.3.4 Python 實例：繪制常見函數的導數
圖像並分析其變化趨勢 047

3.4 高階導數 052

3.4.1 高階導數的定義與應用 052

3.4.2 函數的凹凸性、拐點與泰勒級數展開 052

3.4.3 Python 實例：利用高階導數與泰勒
級數分析函數行為 053

3.5 微分的概念 055

3.5.1 微分的定義、幾何意義與線性近似 056

3.5.2 微分在誤差估計與近似計算中的應用 056

3.5.3 Python 實例：使用微分法近似計算
函數值與誤差分析 057

3.6 課後練習 059

第4章
積分及其應用

4.1 積分的基本概念 061

4.1.1 不定積分的定義與性質 061

4.1.2 積分的幾何意義與物理意義 061

4.1.3 利用 SymPy 計算簡單函數的
不定積分 062

4.2 定積分 062

4.2.1 定積分的定義與基本性質 062

4.2.2 定積分的計算方法 063

4.2.3 使用 SciPy 計算定積分並進行數值驗證 064

4.3 積分與面積、體積 065

4.3.1 積分在求平面圖形面積中的應用 065

4.3.2 積分在求旋轉體體積中的應用 065

4.3.3 Python 實例：計算覆雜圖形的面積與體積並進行可視化 066

4.4 積分與概率與統計 069

4.4.1 概率密度函數與積分的關系 069

4.4.2 積分在期望、方差與協方差計算中的應用 070

4.4.3 利用積分求解連續型隨機變量的期望與方差 070

4.5 微積分基本定理 072

4.5.1 牛頓-萊布尼茨公式 072

4.5.2 微積分基本定理的推導與應用 073

4.5.3 利用牛頓-萊布尼茨公式進行積分驗證 074

4.6 積分在人工智能中的應用 077

4.6.1 損失函數的積分表示 077

4.6.2 積分在正則化與模型覆雜度控制中的應用 078

4.6.3 利用積分計算正則化項並分析模型覆雜度 079

4.7 數值積分 081

4.7.1 數值積分方法 081

4.7.2 數值積分的誤差分析與改進 082

4.7.3 實現並比較不同數值積分方法的效果 082

4.8 課後練習 085

第5章
多元微積分

5.1 多元函數 087

5.1.1 多元函數的定義與表示方法 087

5.1.2 多元函數的連續性與可微性 087

5.1.3 繪制多元函數並觀察其連續性與
可微性 088

5.2 偏導數 091

5.2.1 偏導數的定義與幾何意義 091

5.2.2 高階偏導數、混合偏導數與雅可比矩陣 092

5.2.3 利用 SymPy 計算多元函數的
偏導數 094

5.3 方向導數與梯度 096

5.3.1 方向導數的定義與計算方法 096

5.3.2 梯度向量、方向導數與其幾何意義 097

5.3.3 計算多元函數的方向導數與梯度 098

5.4 多元函數的極值 100

5.4.1 駐點、臨界點與鞍點的概念 100

5.4.2 二次型在極值判定中的作用 101

5.4.3 利用梯度下降法求多元函數的極值並
分析收斂性 102

5.5 拉格朗日乘數法 106

5.5.1 拉格朗日乘數法的原理與推導 106

5.5.2 拉格朗日乘數法在約束優化中的應用 107

5.5.3 用拉格朗日乘數法求解約束優化問題 109

5.6 多重積分 111

5.6.1 二重積分與三重積分的定義與計算 111

5.6.2 多重積分在計算體積、質量與重心中的應用 113

5.6.3 利用多重積分計算覆雜幾何體的體積與重心 114

5.7 課後練習 115

第6章
數據預處理

6.1 特征選擇和降維 117

6.1.1 特征選擇的微積分方法 117

6.1.2 主成分分析 119

6.2 缺失值處理與插補 124

6.2.1 缺失值處理介紹 124

6.2.2 插補方法中的微積分應用 125

6.3 數據平滑與去噪 128

6.3.1 數據平滑 128

6.3.2 去噪算法中的微積分方法 132

6.4 數據轉換與特征工程 134

6.4.1 數據轉換的微積分方法 134

6.4.2 特征工程 137

6.5 數據預處理中的微積分優化 139

6.5.1 優化方法的基本概念 140

6.5.2 梯度下降法 140

6.5.3 牛頓法 142

6.6 課後練習 144

第7章
構建網絡模型

7.1 網絡模型介紹 146

7.1.1 機器學習和深度學習 146

7.1.2 網絡模型的定義與分類 148

7.2 構建機器學習模型 149

7.2.1 構建線性回歸模型 149

7.2.2 構建邏輯回歸模型 160

7.2.3 支持向量機 163

7.2.4 決策樹 168

7.2.5 隨機森林 172

7.2.6 K-近鄰算法模型 175

7.3 構建深度學習模型 177

7.3.1 前饋神經網絡 177

7.3.2 CNN在計算機視覺中的應用 181

7.3.3 循環神經網絡 184

7.3.4 長短期記憶網絡 188

7.3.5 生成對抗網絡 191

7.4 課後練習 195

第8章
模型優化

8.1 模型優化介紹 197

8.2 梯度下降算法 197

8.2.1 梯度下降法介紹 198

8.2.2 微積分在梯度計算中的應用 198

8.2.3 隨機梯度下降 202

8.2.4 動量法 205

8.2.5 自適應學習率算法 207

8.3 優化算法 210

8.3.1 牛頓法與擬牛頓法 210

8.3.2 自適應優化算法 214

8.4 正則化技術 219

8.4.1 正則化介紹 219

8.4.2 L1正則化 220

8.4.3 L2正則化 223

8.4.4 Dropout 226

8.4.5 彈性網 229

8.5 超參數優化 232

8.5.1 超參數的定義與選擇 232

8.5.2 貝葉斯優化 233

8.6 課後練習 236

第9章
模型評估與解釋

9.1 模型評估的基本概念 238

9.1.1 評估指標的定義與選擇 238

9.1.2 評估指標的數學基礎 238

9.2 性能度量與損失函數 242

9.2.1 損失函數與性能度量的關系 242

9.2.2 微積分在性能度量中的應用 243

9.3 模型解釋性 246

9.3.1 模型解釋性的基本概念 246

9.3.2 微積分在模型解釋中的應用：梯度的角色 247

9.4 靈敏度分析與梯度檢查 250

9.4.1 靈敏度分析 250

9.4.2 梯度檢查 254

9.5 特征重要性分析 258

9.6 誤差分析與模型診斷 260

9.6.1 誤差分析介紹 261

9.6.2 模型診斷 263

9.7 課後練習 267

0章
自然語言處理和微積分

10.1 自然語言處理基礎 269

10.1.1 NLP的基本概念與應用領域 269

10.1.2 微積分在 NLP 中的作用概述 270

10.2 詞嵌入 270

10.2.1 詞嵌入介紹 270

10.2.2 詞嵌入模型 271

10.3 表示學習 274

10.3.1 表示學習介紹 274

10.3.2 微積分在表示學習中的應用 275

10.4 語言模型與序列建模 277

10.4.1 語言模型的定義與作用 277

10.4.2 微積分在語言模型中的應用 278

10.5 註意力機制與Transformer 281

10.5.1 微積分在註意力機制中的應用 281

10.5.2 Transformer的基本概念和微積分的應用 283

10.6 情感分析與文本分類 287

10.6.1 情感分析與文本分類的基本方法 288

10.6.2 微積分在情感分析與文本分類中的應用 288

10.7 課後練習 294

1章
人工智能視覺技術和微積分

11.1 計算機視覺基礎 296

11.1.1 計算機視覺的定義與應用領域 296

11.1.2 微積分在計算機視覺中的作用 296

11.2 圖像處理與變換 297

11.2.1 常用的圖像處理技術 297

11.2.2 梯度計算與邊緣檢測 297

11.2.3 圖像增強 300

11.2.4 幾何變換和圖像變換 302

11.2.5 圖像分割 305

11.3 特征提取與描述 308

11.3.1 特征提取的基本方法 308

11.3.2 微積分在特征提取中的應用 309

11.4 卷積神經網絡（CNN） 316

11.4.1 CNN的基本結構與應用 317

11.4.2 微積分在 CNN 中的應用 317

11.5 目標檢測與分割 320

11.5.1 目標檢測的基本方法 320

11.5.2 目標分割的基本方法 324

11.6 圖像生成與變換 327

11.6.1 圖像生成模型的基本概念 327

11.6.1 微積分在圖像生成中的應用 328

11.7 課後練習 333

2章
系統和微積分

12.1 系統概述 336

12.1.1 系統的定義與分類 336

12.1.2 系統的應用領域 337

12.1.3 微積分在 系統中的作用概述 337

12.2 算法基礎 338

12.2.1 基於內容的 338

12.2.2 基於協同過濾的 341

12.3 基於標簽的 344

12.3.1 獲取用戶的標簽 345

12.3.2 基於用戶興趣標簽的 算法 345

12.3.3 基於物品標簽的 算法 348

12.4 基於神經網絡的 模型 351

12.4.1 深度學習在 系統中的應用 351

12.4.2 基於多層感知器的 模型 352

12.4.3 基於卷積神經網絡的 模型 355

12.4.4 基於循環神經網絡的 模型 358

12.4.5 基於自註意力機制的 模型 363

12.5 課後練習 367

3章
強化學習和微積分

13.1 強化學習基礎 369

13.1.1 強化學習的核心特點 369

13.1.2 強化學習與其他機器學習方法的區別 370

13.1.3 微積分在強化學習中的作用 370

13.2 馬爾可夫決策過程 371

13.2.1 MDP的核心思想 371

13.2.2 MDP的形式化定義 372

13.2.3 貝爾曼方程 375

13.3 蒙特卡洛方法 381

13.3.1 蒙特卡洛預測的核心思想 381

13.3.2 探索與策略改進 385

13.4 Q學習與貝爾曼方程 387

13.4.1 Q-learning的動作值函數 387

13.4.2 強化學習中的Q-learning 391

13.5 深度Q網絡算法 394

13.5.1 DQN算法介紹 394

13.5.2 雙重深度Q網絡算法 399

13.6 競爭深度Q網絡算法 404

13.6.1 Dueling DQN網絡架構 404

13.6.2 微積分在Dueling DQN中的作用 404

13.7 課後練習 408
用微積分的智慧，駕馭人工智能的未來 —— 連接傳統數學與現代智能，探索無限可能 解鎖微積分密碼，開啟AI新紀元 —— 經典理論與前沿應用 融合