機器學習原理、算法與應用

目 錄
第1章 機器學習概論 1
1.1 什麼是機器學習 1
1.2 機器學習的發展歷史 3
1.2.1 人工智能及其三大流派 3
1.2.2 機器學習發展史及重要事件 4
1.3 機器學習的研究與應用 7
1.4 機器學習的分類 9
1.4.1 基於學習方式分類 9
1.4.2 基於問題分類 13
1.4.3 機器學習的模型及算法 16
1.5 常見的機器學習算法 18
1.5.1 線性回歸 18
1.5.2 決策樹 19
1.5.3 人工神經網絡 19
1.5.4 深度學習 20
1.6 習題 21
第2章 機器學習基礎 22
2.1 機器學習中的基本概念 22
2.1.1 數據集 22
2.1.2 過擬合與欠擬合 23
2.1.3 交叉驗證方法 25
2.2 回歸問題 27
2.2.1 機器學習中的回歸方法 27
2.2.2 回歸模型的性能評估 28
2.3 分類問題 29
2.3.1 機器學習中的分類方法 29
2.3.2 分類模型的性能評估 30
2.4 梯度下降法與最小二乘法 37
2.4.1 梯度下降法及其應用 37
2.4.2 最小二乘法及其應用 39
2.4.3 實例分析 41
2.5 正則化 44
2.5.1 線性回歸 45
2.5.2 支持向量機 46
2.5.3 邏輯回歸 47
2.5.4 決策樹 47
2.5.5 實例分析 48
2.6 sklearn中常用的數據集 51
2.6.1 toy datasets 51
2.6.2 generated datasets 53
2.6.3 real world datasets 54
2.7 習題 55
第3章 回歸算法 56
3.1 回歸算法概述 56
3.2 線性回歸模型 58
3.2.1 簡單線性回歸模型 59
3.2.2 多元線性回歸模型 60
3.2.3 正則化線性模型 61
3.2.4 ElasticNet回歸模型 64
3.2.5 逐步回歸模型 64
3.3 可線性化的非線性回歸模型 66
3.3.1 倒數回歸模型 66
3.3.2 半對數回歸模型 67
3.3.3 指數函數回歸模型 67
3.3.4 冪函數回歸模型 67
3.3.5 多項式回歸模型 67
3.3.6 廣義線性回歸模型 68
3.3.7 邏輯回歸模型 70
3.4 非線性回歸模型 71
3.4.1 支持向量回歸模型 72
3.4.2 保序回歸模型 74
3.4.3 決策樹回歸模型 74
3.4.4 隨機森林回歸模型 75
3.4.5 K最近鄰回歸模型 76
3.5 多輸出回歸模型 77
3.6 回歸算法框架 78
3.6.1 線性回歸模型 78
3.6.2 正則化的線性模型 79
3.6.3 多項式回歸模型 81
3.6.4 邏輯回歸模型 81
3.6.5 多輸出回歸模型 83
3.7 選擇回歸模型 83
3.8 實例分析 84
3.9 習題 88
第4章 決策樹算法 89
4.1 決策樹算法概述 89
4.2 決策樹生成 91
4.3 信息熵、條件熵和互信息 93
4.3.1 信息增益和信息增益比 97
4.3.2 基尼系數 97
4.3.3 決策樹生成 98
4.4 決策樹剪枝 99
4.4.1 預剪枝過程 100
4.4.2 後剪枝過程 102
4.5 決策樹框架 102
4.6 決策樹應用 104
4.7 習題 106
第5章 支持向量機算法 108
5.1 支持向量機概述 108
5.2 支持向量機解決分類問題 110
5.2.1 線性支持向量機的原理 110
5.2.2 非線性支持向量機的原理 113
5.2.3 多分類問題 114
5.3 支持向量機解決回歸問題 116
5.4 支持向量機編程框架 118
5.4.1 支持向量機分類器 119
5.4.2 支持向量機回歸器 122
5.5 支持向量機應用 123
5.6 習題 124
第6章 貝葉斯算法 126
6.1 貝葉斯算法概述 126
6.2 樸素貝葉斯算法 127
6.2.1 樸素貝葉斯算法概述 127
6.2.2 多項式樸素貝葉斯算法 129
6.2.3 伯努利樸素貝葉斯算法 130
6.2.4 高斯樸素貝葉斯算法 131
6.2.5 樸素貝葉斯算法實例 132
6.3 貝葉斯算法編程框架 134
6.3.1 高斯樸素貝葉斯算法編程框架 135
6.3.2 多項式樸素貝葉斯算法編程框架 135
6.3.3 伯努利樸素貝葉斯算法編程框架 136
6.4 貝葉斯算法的應用 137
6.5 習題 138
第7章 集成學習算法 140
7.1 集成學習概述 140
7.1.1 基分類器集成 140
7.1.2 集成方法 142
7.2 Bagging算法 143
7.3 Boosting算法 145
7.3.1 AdaBoost算法 146
7.3.2 GBDT算法 149
7.3.3 XGBoost算法 151
7.4 Stacking算法 152
7.5 集成學習的編程實踐 153
7.5.1 Bagging 153
7.5.2 隨機森林 154
7.5.3 AdaBoost 155
7.5.4 GBDT 156
7.5.5 XGBoost 157
7.5.6 Stacking 158
7.6 集成學習實例 158
7.6.1 特征選擇 158
7.6.2 數據分類 159
7.7 習題 162
第8章 聚類算法 164
8.1 聚類算法概述 164
8.1.1 聚類算法分類 165
8.1.2 聚類的性能評價 165
8.2 基於劃分的聚類算法 168
8.2.1 K-Means算法 168
8.2.2 MiniBatchKMeans算法 171
8.2.3 K-Means++算法 172
8.3 基於模型的聚類算法 173
8.4 基於密度的聚類算法 175
8.5 基於層次的聚類算法 179
8.6 基於圖的聚類算法 184
8.7 編程框架 187
8.7.1 KMeans類 187
8.7.2 高斯混合聚類 189
8.7.3 DBSCAN類 190
8.7.4 Birch類 192
8.7.5 AP類 193
8.7.6 sklearn中的函數 195
8.7.7 性能評價指標 195
8.8 實例分析 195
8.9 習題 197
第9章 神經網絡和深度學習 199
9.1 神經網絡概述 199
9.1.1 神經元模型 200
9.1.2 神經網絡結構 201
9.1.3 激活函數 204
9.1.4 損失函數 207
9.2 神經網絡訓練 209
9.2.1 反向傳播算法 209
9.2.2 隨機梯度下降算法 211
9.3 深度學習 213
9.3.1 深度學習概述 213
9.3.2 常見的深度學習模型 213
9.3.3 深度學習環境準備 214
9.4 實例分析 215
9.5 習題 216
第10章 卷積神經網絡 217
10.1 卷積神經網絡概述 217
10.2 卷積神經網絡的基礎知識 218
10.2.1 卷積核 218
10.2.2 卷積運算 219
10.2.3 步幅和填充 220
10.2.4 特征圖 221
10.3 卷積神經網絡結構 221
10.3.1 卷積層 222
10.3.2 激活層 223
10.3.3 池化層 223
10.3.4 全連接層 225
10.3.5 輸出層 226
10.4 典型的卷積神經網絡結構 227
10.4.1 LeNet 227
10.4.2 AlexNet 227
10.4.3 VGGNet 228
10.4.4 ResNet 228
10.5 實例分析 229
10.6 習題 231
第11章 循環神經網絡 232
11.1 循環神經網絡概述 232
11.2 傳統循環神經網絡 235
11.3 雙向循環神經網絡 236
11.4 長短期記憶網絡 238
11.5 門控循環單元 240
11.6 Keras實現RNN 243
11.6.1 SimpleRNN層 243
11.6.2 LSTM層 246
11.6.3 GRU層 247
11.7 循環神經網絡訓練 248
11.7.1 BPTT算法 249
11.7.2 初始化方法 250
11.7.3 訓練技巧 251
11.8 循環神經網絡應用 252
11.8.1 股票預測實戰 253
11.8.2 情感分析實戰 261
11.9 習題 272
第12章 強化學習 273
12.1 強化學習概述 273
12.1.1 定義與特點 274
12.1.2 主要組成元素 275
12.2 馬爾可夫決策過程 278
12.2.1 貝爾曼方程 278
12.2.2 策略疊代 280
12.2.3 價值疊代 282
12.3 蒙特卡洛方法 284
12.4 時序差分方法 286
12.4.1 SARSA算法 287
12.4.2 Q-Learning算法 289
12.5 深度Q網絡 291
12.5.1 目標網絡 291
12.5.2 經驗回放 292
12.6 強化學習應用 294
12.6.1 Gym介紹 295
12.6.2 懸崖尋路實戰 298
12.6.3 蛇棋實戰 303
12.7 習題 312
附錄A 編程環境說明 313
參考文獻 323