人工智能數學入門

薛棟，華東理工大學信息科學與技術學院副教授、碩士生導師，長期從事人工智能與大數據領域的相關研究工作。周釗，華東理工大學信息科學與工程學院講師、碩士生導師，從事智能交通系統、預測控制理論與應用研究，承擔數字信號處理相關課程教學工作。王聖強，華東理工大學數學學院副教授，長期從事高等數學、線性代數等課程的一線教學工作，主持和參與完成多項上海市級、校級教改項目。段兆陽，華東理工大學信息科學與工程學院講師、碩士生導師，從事過程系統工程、非線性系統理論與應用研究。

第1章 高等數學與人工智能
1．1 人工智能介紹
1．1．1 發展歷程
1．1．2 核心技術
1．1．3 人工智能的應用領域
1．2 高等數學知識體系
1．3 高等數學在人工智能中的作用
1．3．1 微積分的作用
1．3．2 線性代數的作用
1．3．3 概率論與數理統計的作用
第2章 微積分基礎
2．1 微積分的基本概念
2．1．1 函數與極限的基本定義
2．1．2 導數與微分的基本思想
2．1．3 積分與面積
2．1．4 梯度下降法
2．2 微積分的核心理論
2．2．1 牛頓-萊布尼茨公式與模型評估
2．2．2 連續性與可導性在神經網絡中的意義
2．2．3 無窮小與梯度消失/爆炸問題
2．3 微積分在人工智能中的核心應用
2．3．1 反向傳播
2．3．2 動量法、Adam優化器的微分原理
2．3．3 損失函數的微積分基礎
2．4 課後練習
第3章 導數、微分、積分與人工智能
3．1 導數與人工智能
3．1．1 導數數學基礎
3．1．2 導數的計算規則
3．1．3 使用SymPy驗證覆雜函數的導數
3．2 微分與人工智能
3．2．1 微分基礎
3．2．2 微分在誤差估計與近似計算中的應用
3．2．3 自動微分與TensorFlow的實現
3．2．4 微分在誤差反向傳播中的具體步驟
3．3 積分的AI應用
3．3．1 不定積分的定義與性質
3．3．2 定積分的計算方法
3．3．3 積分在概率計算中的應用
3．4 高階導數與AI應用
3．4．1 高階導數基礎
3．4．2 函數的凹凸性與拐點
3．4．3 泰勒公式與Xavier初始化
3．4．4 高階導數在海森矩陣優化中的應用
3．5 課後練習
第4章 多元微積分與人工智能優化
4．1 多元函數與人工智能
4．1．1 多元函數的定義與表示
4．1．2 張量與偏導數
4．1．3 利用SymPy計算多元梯度
4．1．4 多元函數在神經網絡中的應用
4．2 偏導數與人工智能
4．2．1 偏導數的定義
4．2．2 高階偏導數、混合偏導數與雅可比矩陣
4．2．3 偏導數在人工智能中的應用
4．3 梯度與優化算法
4．3．1 梯度下降法的收斂性分析
4．3．2 隨機梯度下降
4．3．3 方向導數與對抗樣本生成
4．4 約束優化與高階應用
4．4．1 拉格朗日乘子法與SVM
4．4．3 計算圖與動態微分
4．4．4 拉格朗日乘子法在約束優化中的應用
4．5 課後練習
第5章 線性代數基礎與AI應用
5．1 向量與矩陣
5．1．1 向量與矩陣在數據表示中的角色
5．1．2 向量空間模型在文本處理中的應用
5．2 矩陣基本運算與實現
5．2．1 矩陣加法、乘法與轉置
5．2．2 使用NumPy模擬單層神經網絡
5．2．3 矩陣運算在深度學習框架中的優化
5．3 矩陣運算與神經網絡
5．3．1 全連接層的矩陣表示
5．3．2 卷積運算的矩陣化
5．3．3 推薦系統中的矩陣補全問題
5．4 矩陣分解與數據降維
5．4．1 主成分分析
5．4．2 奇異值分解與在自然語言處理中的應用
5．4．3 張量分解與推薦系統
5．5 課後練習
第6章 線性方程組與機器學習模型
6．1 線性模型與優化
6．1．1 線性回歸的正規方程
6．1．2 最小二乘法與QR分解的關系
6．1．3 支持向量機（SVM）的矩陣形式
6．1．4 線性模型在人工智能中的優化策略
6．2 高性能矩陣計算
6．2．1 LU分解與並行計算
6．2．2 稀疏矩陣在自然語言處理中的應用
6．2．3 矩陣求逆在卡爾曼濾波中的意義
6．2．4 高斯消元法及Python實現
6．3 線性方程組的AI應用
6．3．1 線性回歸的矩陣形式與應用
6．3．2 圖像處理中的矩陣求逆技術
6．3．3 推薦系統中的偏好預測
6．3．4 線性方程組在時間序列預測中的應用
6．4 課後練習
第7章 矩陣分解與優化
7．1 特征值分解與AI應用
7．1．1 特征值和特征向量的幾何意義
7．1．2 特征值分解與數據降維
7．1．3 圖像壓縮與深度學習優化
7．2 SVD的AI應用實戰
7．2．1 SVD定義與矩陣重構
7．2．2 幾何解釋與低維映射
7．2．3 圖像壓縮與NLP特征提取
7．3 正交化與優化算法
7．3．1 基與維數計算
7．3．2 施密特正交化與QR分解
7．3．3 最小二乘法優化
7．3．4 梯度下降和隨機梯度下降優化
7．4 課後練習
第8章 概率論與人工智能
8．1 概率的核心概念
8．1．1 概率的定義與公理
8．1．2 事件的運算：並、交、補
8．1．3 條件概率的定義與計算
8．1．4 全概率公式與貝葉斯定理
8．2 隨機變量與分布
8．2．1 隨機變量的定義與類型
8．2．2 隨機變量與概率分布在AI中的應用
8．2．3 馬爾可夫鏈在文本生成中的應用
8．2．4 概率分布與變分自編碼器
8．3 期望值、方差與協方差
8．3．1 期望值的定義與數學計算
8．3．2 方差與標準差
8．3．3 協方差與相關系數
8．3．4 期望值、方差、協方差與人工智能
8．4 大數定律與中心極限定理
8．4．1 大數定律的概念與證明
8．4．2 中心極限定理
8．4．4 大數定律和中心極限定理在人工智能中的應用
8．5 課後練習
第9章 統計方法與機器學習
9．1 統計推斷與模型評估
9．1．1 點估計
9．1．2 區間估計
9．1．3 假設檢驗
9．1．4 模型評估與選擇方法
9．1．5 假設檢驗在A/B測試中的應用
9．2 回歸與正則化技術
9．2．1 線性回歸介紹
9．2．2 簡單線性回歸
9．2．3 多元線性回歸
9．2．4 邏輯回歸
9．2．5 L1/L2正則化技術在機器學習中的應用
9．2．6 彈性網絡的特征選擇
9．3 數據預處理與推斷
9．3．1 數據歸一化
9．3．2 數據標準化
9．3．3 數據清洗與處理
9．3．4 批量歸一化原理與應用
9．4 課後練習
第10章 高級統計與模擬方法
10．1 時間序列分析
10．1．1 時間序列得到分類和組成
10．1．2 自回歸模型
10．1．3 移動平均模型（MA）
10．2 自回歸積分滑動平均模型及其應用
10．2．1 ARIMA模型的基本概念
10．2．2 模型識別與參數估計
10．3 時間序列的季節性與趨勢分析
10．3．1 季節性分析
10．3．2 趨勢分析
10．4 蒙特卡洛與人工智能
10．4．1 蒙特卡洛方法介紹
10．4．2 蒙特卡洛方法在AI中的應用
10．5 課後練習
第11章 自然語言處理中的數學應用
11．1 自然語言處理基礎
11．1．1 NLP的應用領域
11．1．2 高等數學在NLP中的作用
11．2 詞嵌入
11．2．1 詞嵌入模型
11．2．2 GloVe的共現矩陣與損失函數設計
11．3 語言模型的數學基礎
11．3．1 語言模型的作用
11．3．2 概率語言模型的數學表示
11．4 序列模型的數學實現
11．4．1 長短期記憶網絡
11．4．2 Transformer模型和數學原理
11．5 情感分析與文本分類
11．5．1 情感分析與文本分類的基本模型
11．5．2 高等數學的作用
11．6 課後練習
第12章 計算機視覺中的數學應用
12．1 計算機視覺基礎
12．1．1 計算機視覺的定義與應用領域
12．1．2 數學在計算機視覺中的作用
12．2 圖像處理與變換
12．2．1 常用的圖像處理技術
12．2．2 梯度計算與邊緣檢測
12．2．3 圖像增強
12．2．4 幾何變換和圖像變換
12．3 特征提取
12．3．1 邊緣檢測
12．3．2 角點檢測
12．4 機器學習和計算機視覺
12．4．1 基於卷積神經網絡（CNN）的圖像分類
12．4．2 基於支持向量機（SVM）的圖像分類
12．4．3 基於GAN的圖像生成與變換
12．5 目標檢測
12．5．1 目標檢測的方法
12．5．2 基於R-CNN的目標檢測
12．5．3 基於YOLO的目標檢測
12．6 課後練習
第13章 強化學習中的數學應用
13．1 馬爾可夫決策過程的數學基礎
13．1．1 狀態轉移矩陣的構建
13．1．2 貝爾曼方程的數學推導和應用
13．2 策略優化的數學方法
13．2．1 策略梯度定理的證明
13．2．2 近端策略優化的數學約束
13．3 值函數逼近的數學實現
13．3．1 Q-learning的收斂性證明
13．3．2 深度Q網絡的數學改進
13．4 多智能體系統的博弈論數學
13．4．1 納什均衡
13．4．2 拍賣機制設計的數學優化
13．5 課後練習
第14章 推薦系統中的數學應用
14．1 協同過濾的數學基礎
14．1．1 協同過濾介紹
14．1．2 奇異值分解在評分預測中的應用
14．1．3 交替最小二乘法的收斂性證明
14．1．4 隱語義模型的數學優化
14．2 深度推薦模型的數學結構
14．2．1 Wide & Deep模型的數學融合
14．2．2 圖神經網絡的推薦系統應用
14．3 在線學習的數學挑戰
14．3．1 多臂老虎機的數學框架
14．3．2 探索與利用的數學平衡
14．4 課後練習
第15章 開源大模型中的數學應用
15．1 Transformer架構的數學核心
15．1．1 Transformer架構的基本組成
15．1．2 自註意力機制的數學實現
15．1．3 多頭註意力的參數量計算
15．1．4 位置編碼的數學設計
15．2 大模型訓練的數學優化
15．2．1 混合精度訓練的數學原理
15．2．2 分布式訓練的數學並行策略
15．3 大模型中的關鍵數學技術
15．3．1 激活函數的數學改進
15．3．2 歸一化層的數學設計
15．4 開源模型的數學對比
15．4．1 DeepSeekMoE中的數學
15．4．2 Qwen的旋轉位置編碼變體
15．4．3 Gemma的輕量化數學設計
15．5 課後練習