人工智能數學基礎

王社偉，副教授，西北工業大學航空宇航制造專業博士，挪威科技大學訪問學者，在數字化制造、企業管理系統、機器學習、數據挖掘等方面有豐富的實戰經驗。 侯惠芳，河南工業大學教授，解放軍信息工程大學通信與信息系統專業博士，擅長機器學習、大數據檢索、人工智能和模式識別等。 李琳，河南工業大學副教授，在軟件工程、機器學習、人工智能和模式識別等領域有深入研究。 張繼新，河南工業大學教師，多年來一直從事計算機科學與技術專業的教學工作，研究方向主要為計算機軟件與理論、智能計算。

第1篇　基礎原理

第1章 人工智能概述 2

1.1 人工智能的概念 2

1.2 人工智能的發展 3

1.3 人工智能的主要流派與研究方向 5

1.4 人工智能的數學基礎 7

1.5 Python對人工智能算法設計的支持 8

第2章 向量和矩陣 10

2.1 向量 10

2.1.1 標量的定義 10

2.1.2 向量的定義 10

2.1.3 向量的兩個基本運算 11

2.1.4 向量與數據 12

2.2 矩陣 12

2.2.1 矩陣的定義 13

2.2.2 矩陣與數據 14

2.3 矩陣和向量的創建 16

2.3.1 NumPy的安裝 17

2.3.2 NumPy的導入和使用 17

2.3.3 矩陣的創建 17

2.3.4 向量的創建 21

2.4 矩陣的基本類型與關系 25

2.5 矩陣的基本運算 31

2.5.1 矩陣的加法和減法 31

2.5.2 矩陣的數乘 32

2.5.3 矩陣的乘法 32

2.5.4 矩陣與向量的乘法 35

2.5.5 矩陣的乘方 36

2.6 轉置矩陣和逆矩陣 37

2.6.1 轉置矩陣 37

2.6.2 逆矩陣 40

2.7 行列式 42

2.7.1 行列式引例 42

2.7.2 行列式的定義 43

2.7.3 行列式與矩陣的區別 44

2.7.4 行列式的計算 44

2.8 矩陣的秩 45

2.8.1 向量組 45

2.8.2 向量組的線性相關和線性無關 47

2.8.3 矩陣的秩的定義 48

2.8.4 矩陣的秩的計算 49

2.9 內積與正交 50

2.9.1 向量的內積 50

2.9.2 向量的長度 52

2.9.3 向量的正交 54

2.9.4 標準正交基 55

第3章 特征值與矩陣分解 57

3.1 矩陣分解概述 57

3.2 特征值與特征向量 57

3.2.1 引例 57

3.2.2 特征值和特征向量的定義 58

3.2.3 特征值和特征向量的求解 59

3.2.4 基於NumPy的特征值與特征向量的計算及驗證 60

3.2.5 特征值的性質 61

3.2.6 特征空間 62

3.3 特征值分解 62

3.4 SVD 64

3.4.1 應用SVD解決問題 64

3.4.2 SVD的定義 65

3.4.3 SVD的實現 66

3.4.4 利用SVD重構矩陣 68

3.4.5 利用SVD進行矩陣近似 68

第4章 極限和導數 71

4.1 函數 71

4.1.1 函數的定義 71

4.1.2 幾種特殊函數的定義 71

4.1.3 函數的特性 72

4.2 極限 73

4.2.1 數列 73

4.2.2 收斂數列的性質 73

4.2.3 極限的符號表示 74

4.2.4 函數極限的定義 74

4.3 無窮小與無窮大 76

4.3.1 無窮小 76

4.3.2 無窮小的基本性質 76

4.3.3 無窮小與函數極限的關系 77

4.3.4 無窮大 77

4.3.5 無窮大與無窮小的關系 77

4.3.6 無窮小的比較 77

4.4 函數的連續性 78

4.4.1 函數連續的定義 78

4.4.2 函數連續需要滿足的條件 79

4.4.3 函數的間斷點 79

4.4.4 函數間斷點的常見類型 79

4.5 導數與偏導數 80

4.5.1 導數 80

4.5.2 偏導數的定義與幾何意義 82

4.6 方向導數 83

4.7 梯度 85

第5章 微積分 87

5.1 微積分的基本思想 87

5.2 微積分的應用 88

5.3 定積分 89

5.3.1 定積分的定義 89

5.3.2 定積分的幾何意義 90

5.4 定積分的性質 90

5.5 牛頓－萊布尼茨公式 91

5.5.1 積分上限的函數及其導數 91

5.5.2 牛頓-萊布尼茨公式的定義 93

5.5.3 牛頓-萊布尼茨公式的幾何解釋 93

第6章 概率論 95

6.1 隨機事件及其概率 95

6.1.1 樣本空間和隨機事件 95

6.1.2 概率和頻率 96

6.1.3 古典概型 97

6.2 條件概率 98

6.3 獨立性 99

6.4 隨機變量 100

6.4.1 離散型隨機變量 101

6.4.2 連續型隨機變量 104

6.5 隨機向量 107

6.5.1 聯合分布函數 108

6.5.2 離散型隨機向量 108

6.5.3 連續型隨機向量 109

6.5.4 邊緣分布 110

6.6 隨機變量的數字特征 112

6.6.1 數學期望 112

6.6.2 方差 114

6.7 大數定律和中心極限定理 117

6.7.1 大數定律 117

6.7.2 中心極限定理 118

6.8 數理統計的基本概念 121

6.8.1 常用的統計量 121

6.8.2 參數估計 123

6.9 最大似然估計 123

6.9.1 似然函數 123

6.9.2 最大似然估計 124

6.10 最大後驗估計 126

第7章 概率分布 129

7.1 正態分布 129

7.1.1 正態分布的數學表示 129

7.1.2 Python中正態分布相關工具包 130

7.1.3 應用Python函數庫產生正態分布 130

7.2 二項分布 139

7.2.1 二項分布的數學表示 139

7.2.2 應用Python函數庫產生二項分布 140

7.3 泊松分布 148

7.3.1 泊松分布的數學表示 148

7.3.2 應用Python函數庫產生泊松分布 149

7.4 均勻分布 157

7.4.1 均勻分布的數學表示 157

7.4.2 應用Python函數庫產生均勻分布 157

7.5 卡方分布 161

7.5.1 卡方分布的數學表示 161

7.5.2 應用Python函數庫產生卡方分布 161

7.6 Beta分布 167

7.6.1 Beta分布的數學表示 167

7.6.2 應用Python函數庫產生Beta分布 168

第2篇　應用提高

第8章 最優化方法 177

8.1 最優化方法的基本概念 177

8.1.1 最優化問題的三要素 177

8.1.2 最優化問題的基本解法 178

8.1.3 最優化問題的分類 179

8.1.4 最優化問題的基本概念 179

8.1.5 泰勒公式 180

8.1.6 Hessian矩陣 184

8.2 一階優化算法 185

8.3 二階優化算法 188

8.4 約束優化問題 190

第9章 假設檢驗 193

9.1 假設檢驗的基本概念 193

9.1.1 假設檢驗的基本思想 193

9.1.2 單側檢驗與雙側檢驗 195

9.1.3 P值檢驗法 196

9.2 Z檢驗 198

9.3 t檢驗 199

9.4 卡方檢驗 203

9.5 假設檢驗中的兩類錯誤 205

第10章 相關分析 207

10.1 相關分析概述 207

10.1.1 相關分析的基本概念 207

10.1.2 線性相關的基本概念 208

10.2 皮爾遜相關系數 209

10.3 皮爾遜相關系數的計算與檢驗 210

10.3.1 相關系數的計算 210

10.3.2 相關系數的顯著性檢驗 212

10.4 斯皮爾曼等級相關系數 215

10.4.1 皮爾遜相關系數的局限性 215

10.4.2 斯皮爾曼等級相關 217

10.5 肯德爾相關系數 220

10.5.1 肯德爾相關系數的數學表示 221

10.5.2 肯德爾相關系數的應用 221

10.5.3 肯德爾相關系數的顯著性檢驗 223

10.6 質量相關 223

10.6.1 二列相關 224

10.6.2 點二列相關 225

10.6.3 Python對二列相關的支持 226

10.7 品質相關 226

10.7.1 列聯相關系數 226

10.7.2 ( 相關系數 228

10.8 偏相關與復相關 229

10.8.1 偏相關系數 229

10.8.2 復相關系數 230

第11章 隨機過程 231

11.1 隨機過程 231

11.1.1 隨機過程概述 231

11.1.2 馬爾可夫過程 232

11.1.3 馬爾可夫鏈 232

11.2 馬爾可夫鏈采樣算法 241

11.3 MCMC采樣算法 244

11.4 Gibbs采樣算法 248

第3篇　常用算法與模型

第12章 回歸分析 252

12.1 回歸分析概述 252

12.1.1 回歸分析的一般步驟 252

12.1.2 一元線性回歸模型 253

12.2 回歸方程的推導及應用 254

12.2.1 回歸方程 254

12.2.2 參數的最小二乘估計 254

12.2.3 方差(2的估計 257

12.3 回歸方程的決定系數 258

12.3.1 因變量y變化的指標 258

12.3.2 決定系數 258

12.4 多元線性回歸與曲線回歸問題 259

12.4.1 多元線性回歸分析 259

12.4.2 曲線回歸分析 261

第13章 SVM模型 264

13.1 SVM的原理 264

13.1.1 超平面 264

13.1.2 最優分類超平面 265

13.1.3 SVM和支持向量 265

13.2 SVM的分類 266

13.2.1 線性可分和線性不可分樣本 266

13.2.2 3種SVM 266

13.3 線性可分SVM 267

13.3.1 線性可分SVM的原理 267

13.3.2 線性可分SVM的學習算法和判定過程 270

13.4 線性可分SVM的實現 272

13.4.1 應用SVM的一般流程 272

13.4.2 利用sklearn.svm.SVC解決分類問題 273

13.4.3 線性可分SVM的示例 274

13.5 核函數 276

13.5.1 升維 276

13.5.2 核函數的引入 277

13.5.3 核函數的使用 277

13.5.4 核函數的類型 278

13.5.5 常用核函數的實現 281

13.6 非線性SVM與核函數的引入 282

13.6.1 非線性SVM概述 282

13.6.2 核函數的選擇 283

13.7 非線性SVM的實現 283

13.7.1 基礎示例 284

13.7.2 線性核函數和多項式核函數的應用與對比 287

13.7.3 多項式核函數參數的影響 288

13.7.4 高斯徑向基核函數參數的影響 289

13.7.5 交叉驗證 290

第14章 決策樹模型 291

14.1 熵和信息熵 291

14.1.1 熵的概念 291

14.1.2 信息熵的概念 291

14.1.3 應用Python函數庫計算信息熵 293

14.2 決策樹算法 295

14.2.1 決策樹算法簡介 295

14.2.2 基於信息熵的決策樹算法 296

14.3 常見算法的實現 298

14.3.1 ID3算法的實現 299

14.3.2 C4.5算法的實現 299

14.3.3 CART算法的實現 300

14.3.4 應用Python函數庫實現決策樹分類 301

第15章 聚類算法 306

15.1 聚類分析概述 306

15.1.1 聚類分析的定義 306

15.1.2 距離和相似性度量 306

15.1.3 聚類的類型 307

15.2 層次聚類 308

15.2.1 層次聚類的原理 308

15.2.2 層次聚類的流程 310

15.2.3 層次聚類實例 313

15.3 K-Means聚類 319

15.3.1 K-Means聚類的原理 319

15.3.2 K-Means聚類的流程 321

15.3.3 K-Means聚類的評價指標 321

15.3.4 K-Means聚類實例 322

15.4 DBSCAN聚類 328

15.4.1 DBSCAN聚類的原理 328

15.4.2 DBSCAN聚類的流程 329

15.4.3 DBSCAN聚類實例 330

第16章 神經網絡 333

16.1 感知機模型 333

16.1.1 感知機學習策略 333

16.1.2 感知機學習算法 335

16.2 神經元和神經網絡 337

16.3 激活函數 339

16.3.1 Sigmoid函數 339

16.3.2 tanh函數 341

16.3.3 ReLU函數 342

16.4 BP神經網絡 343

16.4.1 正向傳播 343

16.4.2 反向傳播 345