突圍算法：機器學習算法應用

本書主要對算法的原理進行了介紹，並融合大量的應用案例，
詳細介紹使用機器學習模型的一般方法，幫助讀者理解算法原理，學會模型設計。
本書首先介紹數據理解、數據的處理與特徵，幫助讀者認識數據；
然後從宏觀、系統的角度介紹機器學習算法分類、一般學習規則及機器學習的基礎應用；
接著根據項目研發的流程，詳細介紹了模型選擇和結構設計、目標函數設計、
模型訓練過程設計、模型效果的評估與驗證、計算性能與模型加速；
最後通過多個應用案例幫助讀者加強對前面知識點的理解。

目錄
第1章引言1
1．1人工智能概述2
1．1．1人工智能的分類2
1．1．2人工智能的應用3
1．2人工智能與傳統機器學習5
1．2．1人工神經網絡與生物神經網絡5
1．2．2落地的關鍵因素6
1．3機器學習算法領域發展綜述8
1．3．1計算機視覺9
1．3．2自然語言處理10
1．3．3語音識別11
1．4小結13
參考文獻13

第2章數據理解16
2．1數據的三個基本維度17
2．1．1集中趨勢17
2．1．2離散趨勢19
2．1．3分佈形態20
2． 2數據的統計推論的基本方法22
2．2．1數據抽樣22
2．2．2參數估計24
2．2．3假設檢驗26
2．3數據分析31
2．3．1基本理念31
2．3 ．2體系結構32
2．3．3傳統數據分析方法與示例33
2．3．4基於數據挖掘的數據分析方法與示例35
2．3．5工作流程38
2．3．6數據分析技巧40
2 ．3．7數據可視化43
2．4小結45
參考文獻45

第3章數據處理與特徵47
3．1數據的基本處理48
3．1．1數據預處理48
3．1．2數據清洗中的異常值判定和處理49
3． 1．3數據清洗中的缺失值填充51
3．2數據的特徵縮放和特徵編碼54
3．2．1特徵縮放54
3．2．2特徵編碼57
3．3數據降維58
3．3．1基本思想與方法58
3．3．2變量選擇59
3．3．3特徵提取61
3．4圖像的特徵分析68
3．4．1圖像預處理68
3．4．2傳統圖像特徵提取74
3． 4．3指紋識別77
3．5小結78
參考文獻79

第4章機器學習基礎81
4．1統計學習82
4．1．1統計學習概述82
4．1．2一般研發流程83
4．2機器學習算法分類85
4．2．1體系框架85
4．2．2模型的形式88
4．3機器學習的學習規則90
4．3．1誤差修正學習90
4．3．2赫布學習規則91
4．3．3最小均方規則92
4．3．4競爭學習規則93
4．3．5其他學習規則94
4．4機器學習的基礎應用95
4．4．1基於最小二乘法的回歸分析95
4．4．2基於K-Means的聚類分析98
4．4．3基於樸素貝葉斯的分類分析101
4．5小結103
參考文獻103

第5章模型選擇和結構設計105
5．1傳統機器學習模型選擇106
5．1．1基本原則106
5．1．2經典模型107
5．2經典回歸模型的理解和選擇108
5．2．1邏輯回歸108
5．2．2多項式回歸109
5．2 ．3各類回歸模型的簡單對比112
5．3經典分類模型的理解和選擇113
5．3．1 K近鄰算法113
5．3．2支持向量機114
5．3．3多層感知器115
5 ．3．4 AdaBoost算法117
5．3．5各類分類算法的簡單對比118
5．4經典聚類模型的理解和選擇120
5．4．1基於劃分的聚類120
5．4．2基於層次的聚類122
5．4．3基於密度的聚類126
5．4．4基於網格的聚類131
5．4．5聚類算法的簡單對比131
5．5深度學習模型選擇132
5．5．1分類問題模型132
5．5．2聚類問題模型138
5．5．3回歸預測模型139
5．5．4各類深度學習模型的簡單對比140
5．6深度學習模型結構的設計方向141
5．6．1基於深度的設計141
5．6．2基於升維或降維的設計144
5．6．3基於寬度和多尺度的設計145
5．7模型結構設計中的簡單技巧146
5．7．1激活函數的選擇146
5．7．2隱藏神經元的估算147
5．7．3卷積核串聯使用148
5．7．4利用Dropout提升性能149
5．8小結150
參考文獻151

第6章目標函數設計154
6．1損失函數155
6．1． 1一般簡單損失函數155
6．1．2圖像分類場景經典損失函數156
6．1．3目標檢測中的經典損失函數158
6．1．4圖像分割中的經典損失函數159
6．1．5對比場景中的經典損失函數161
6．2風險最小化和設計原則165
6．2．1期望風險、經驗風險和結構風險165
6．2．2目標函數的設計原則166
6．3基於梯度下降法的目標函數優化167
6．3．1理論基礎167
6．3．2常見的梯度下降法169
6．3．3改進方法169
6．4基於牛頓法的目標求解173
6．4．1基本原理173
6．4．2牛頓法的計算步驟174
6．5小結175
參考文獻176

第7章模型訓練過程設計178
7．1數據選擇179
7．1．1數據集篩選179
7．1．2難例挖掘180
7．1．3數據增強181
7．2參數初始化183
7．2 ．1避免全零初始化183
7．2．2隨機初始化184
7．3擬合的驗證與判斷185
7．3．1過擬合的模型參數185
7．3．2不同算法場景中的欠擬合和過擬合187
7．4學習速率的選擇188
7．4．1學習速率的一般觀測方法188
7．4．2學習速率與批處理大小的關係189
7．5遷移學習189
7．5．1概念與基本方法189
7．5．2應用示例：基於VGG-16的遷移思路190
7．6分佈式訓練191
7．6．1數據並行191
7．6．2模型並行193
7．7小結194
參考文獻194

第8章模型效果的評估與驗證196
8．1模型效果評估的一般性指標197
8．1．1分類算法的效果評估197
8．1．2聚類算法的效果評估201
8．1．3回歸算法的效果評估205
8．1．4不同應用場景下的效果評估206
8．2交叉驗證208
8．2．1基本思想208
8．2．2不同的交叉驗證方法209
8．3模型的穩定性分析210
8 ．3．1計算的穩定性210
8．3．2數據的穩定性211
8．3．3模型性能212
8．4小結213
參考文獻213

第9章計算性能與模型加速215
9．1計算優化216
9．1．1問題與挑戰216
9．1．2設備與推斷計算216
9．2性能指標217
9．2．1計算平台的重要指標：算力和帶寬217
9．2．2模型的兩個重要指標：計算量和訪存量218
9．3模型壓縮與裁剪219
9．3．1問題背景219
9．3．2基本思路和方法220
9．4小結221
參考文獻221

第10章應用案例專題223
10．1求解二元一次方程224
10．1．1問題分析224
10．1．2模型設計225
10．2鳶尾花的案例分析226
10．2．1數據說明226
10．2．2數據理解和可視化227
10．2．3數據特徵的降維230
10．2．4數據分類231
10．2．5數據聚類235
10．3形體識別237
10．3．1問題定義237
10．3．2應用形式239
10．3．3數據準備與處理241
10．3．4技術方案與模型設計243
10．3．5改進思考245
10．4小結246
參考文獻246