從零開始 機器學習的數學原理和算法實踐

零基礎讀者應如何快速入門機器學習？數學基礎薄弱的讀者應如何理解機器學習中的數學原理？這些正是本書要解決的問題。本書從數學基礎知識入手，通過前3章的介紹，幫助讀者輕松復習機器學習涉及的數學知識；然後，通過第4-第13章的介紹，逐步講解機器學習常見算法的相關知識，幫助讀者快速入門機器學習；最後，通過第14章的綜合實踐，幫助讀者回顧本書內容，進一步鞏固所學知識。

《機器學習的數學原理和算法實踐》適合對機器學習感興趣但數學基礎比較薄弱的讀者學習，也適合作為相關專業的學生入門機器學習的參考用書。

大威，本名張威，西安交通大學工科試驗班（工管貫通班）碩士畢業，信息系統項目管理師（高級資質）、高級經濟師、中國計算機學會會員、中國通信學會會員。
擁有多年數據建模、數據挖掘與商業諮詢經驗，現就職於某行業領先的大數據公司，負責大數據產品及人工智能產品的規劃設計管理工作。

第1章補基礎：不怕學不懂微積分1
1．1深入理解導數的本質2
1．1．1哲學層面理解變化2
1．1．2生活中處處有函數3
1．1．3從瞬時速度到導數3
1．1．4從近似運動來理解導數4
1．1．5直觀理解複合函數求導6
1．2理解多元函數偏導7
1．2．1多元函數偏導數是什麼7
1 ．2．2搞清楚梯度是什麼7
1．3理解微積分8
1．3．1直觀理解積分8
1．3．2直觀理解微積分基本定理10
1．4泰勒公式太重要了11
1．4 ．1泰勒公式是什麼11
1．4．2泰勒公式的典型應用11
1．4．3直觀理解泰勒公式的來龍去脈12
1．4．4微積分基本定理與泰勒公式的關係14

第2章補基礎：不怕學不懂線性代數15
2．1直觀理解向量16
2．1．1理解向量加法與數乘17
2．1．2理解向量乘法的本質19
2．1．3理解基向量與線性無關21
2．2直觀理解矩陣22
2．2．1理解矩陣運算規則22
2．2．2理解矩陣向量乘法的本質24
2．2．3深刻理解矩陣乘法的本質29
2．3理解線性方程組求解的本質30
2．3．1直觀理解方程組的解31
2．3．2如何尋找解的表達式34
2．3．3深刻理解逆矩陣的本質36
2．3 ．4直觀理解行列式的本質40
2．4徹底理解最小二乘法的本質42
2．4．1如何求解無解的方程組43
2．4．2論證n維子空間上的情況48
2．4 ．3搞懂施密特正交化是什麼50
2．4．4理解最小二乘法的本質53
2．5直觀理解相似矩陣對角化54
2．5．1相似矩陣是什麼55
2．5． 2如何理解特徵值與特徵向量59
2．5．3直觀理解相似矩陣的對角化62

第3章補基礎：不怕學不懂概率統計64
3．1什麼是概率64
3．1．1最簡單的概率的例子64
3．1．2概率論與數理統計的關係65
3．2搞懂大數定律與中心極限定理65
3．2．1大數定律想表達什麼65
3．2．2中心極限定理想表達什麼67
3．2．3大數定律與中心極限定理的區別70
3．3理解概率統計中的重要分佈70
3．3．1真正搞懂正態分佈70
3．3．2真正搞懂泊松分佈74
3．4理解樸素貝葉斯思想很重要75
3．4．1如何理解條件概率75
3．4．2如何理解貝葉斯公式76
3．4．3貝葉斯公式的應用76
3．4．4最大似然估計77

第4章全景圖：機器學習路線圖79
4．1通俗講解機器學習是什麼79
4．1．1究竟什麼是機器學習79
4．1．2機器學習的分類81
4．2機器學習所需環境介紹82
4．2． 1 Python的優勢83
4．2．2 Python下載、安裝及使用83
4．3跟著例子熟悉機器學習全過程84
4．4準備數據包括什麼87
4．4．1數據採集87
4．4．2數據清洗88
4．4．3不均衡樣本處理88
4．4．4數據類型轉換89
4．4．5數據標準化90
4．4．6特徵工程90
4．5如何選擇算法92
4．5．1單一算法模型92
4．5．2集成學習模型92
4．5．3算法選擇路徑96
4．6調參優化怎麼處理97
4．6．1關於調參的幾個常識97
4．6．2模型欠擬合與過擬合98
4．6．3常見算法調參的內容98
4．6．4算法調參的實踐方法99
4．7如何進行性能評估100
4．7．1回歸預測性能度量100
4．7．2分類任務性能度量100

第5章數據降維：深入理解PCA的來龍去脈102
5．1 PCA是什麼103
5． 2用一個例子來理解PCA過程103
5．3如何尋找降維矩陣P 106
5．4 PCA降維的核心思想107
5．4．1核心思想一：基變換向量投影108
5．4．2核心思想二：協方差歸零投影112
5．4．3核心思想三：最大方差投影114
5．4．4 PCA降維的關鍵：協方差矩陣對角化116
5．5面向零基礎讀者詳解PCA降維116
5．5．1計算矩陣Y的協方差矩陣Cy 116
5．5．2矩陣Y的協方差矩陣Cy對角化118
5．5．3求解降維矩陣P 120
5．6編程實踐：手把手教你寫代碼122
5．6．1背景任務介紹：鳶尾花數據降維122
5．6．2代碼展示：手把手教你寫123
5．6．3代碼詳解：一步一步講解清楚123

第6章凸優化核心過程：真正搞懂梯度下降過程126
6．1通俗講解凸函數126
6．1．1什麼是凸集126
6．1．2什麼是凸函數127
6．1．3機器學習“熱愛”凸函數128
6．2通俗講解梯度下降128
6．2．1梯度是什麼130
6．2．2梯度下降與參數求解130
6．2．3梯度下降具體過程演示131
6．3編程實踐：手把手教你寫代碼132
6．3．1一元函數的梯度下降132
6．3．2多元函數的梯度下降137

第7章搞懂算法：線性回歸是怎麼回事142
7．1什麼是線性回歸142
7．2線性回歸算法解決什麼問題143
7．3線性回歸算法實現過程143
7．4編程實踐：手把手教你寫代碼146
7．4．1背景任務介紹：預測房價情況146
7．4．2代碼展示：手把手教你寫147
7．4．3代碼詳解：一步一步講解清楚147

第8章搞懂算法：邏輯回歸是怎麼回事150
8．1如何理解邏輯回歸150
8．2邏輯回歸算法實現過程151
8．3編程實踐：手把手教你寫代碼155
8．3．1背景任務介紹：用邏輯回歸分類預測腫瘤155
8．3．2代碼展示：手把手教你寫155
8．3．3代碼詳解：一步一步講解清楚156

第9章搞懂算法：決策樹是怎麼回事159
9．1典型的決策樹是什麼樣的159
9．2決策樹算法的關鍵是什麼160
9．3信息、信息量與信息熵161
9．4信息增益的計算過程163
9．5剪枝處理是怎麼回事167
9．6編程實踐：手把手教你寫代碼167
9．6．1背景任務介紹：用決策樹分類預測乳腺癌167
9．6．2代碼展示：手把手教你寫167
9．6．3代碼詳解：一步一步講解清楚168

第10章搞懂算法：支持向量機是怎麼回事171
10．1 SVM有什麼用171
10．2 SVM算法原理和過程是什麼172
10．2．1分離超平面是什麼172
10．2．2間隔與支持向量是什麼175
10．3編程實踐：手把手教你寫代碼180
10．3．1背景任務介紹：用SVM分類預測乳腺癌180
10．3．2代碼展示：手把手教你寫180
10．3．3代碼詳解：一步一步講解清楚181

第11章搞懂算法：聚類是怎麼回事184
11．1聚類算法介紹184
11．1．1聚類是什麼184
11．1．2聚類算法應用場景185
11．2通俗講解聚類算法過程186
11．2．1相似度如何度量186
11．2．2聚類性能如何度量188
11．2．3具體算法介紹：K-means算法188
11．2．4具體算法介紹：K-means++算法189
11．3編程實踐：手把手教你寫代碼191
11．3．1背景任務介紹：手寫數字圖像聚類191
11．3．2代碼展示：手把手教你寫191
11．3．3代碼詳解：一步一步講解清楚193

第12章搞懂算法：樸素貝葉斯是怎麼回事195
12．1樸素貝葉斯是什麼195
12．1．1條件概率是什麼195
12．1．2貝葉斯公式是什麼195
12．2樸素貝葉斯實現方法196
12．2．1伯努利樸素貝葉斯方法196
12．2．2高斯樸素貝葉斯方法198
12．2．3多項式樸素貝葉斯方法199
12．3編程實踐：手把手教你寫代碼200
12．3．1背景任務介紹：樸素貝葉斯分類預測文本類別200
12．3．2代碼展示：手把手教你寫201
12．3．3代碼詳解：一步一步講解清楚201

第13章搞懂算法：神經網絡是怎麼回事205
13．1從一個具體任務開始：識別數字206
13．2理解神經元是什麼207
13．2．1感知器是什麼207
13．2．2 S型神經元是什麼208
13．3理解典型神經網絡多層感知器210
13．3．1神經網絡結構是什麼210
13．3．2搞懂MLP的工作原理是什麼211
13．4 MLP的代價函數與梯度下降216
13． 4．1代價函數：參數優化的依據216
13．4．2梯度下降法：求解代價函數最小值217
13．5反向傳播算法的本質與推導過程219
13．5．1反向傳播算法：神經網絡的訓練算法219
13．5．2尋根究底：搞懂反向傳播算法的數學原理221
13．6編程實踐：手把手教你寫代碼224
13．6．1通過代碼深入理解反向傳播算法224
13． 6．2一個簡單的神經網絡分類算法實踐227

第14章綜合實踐：模型優化的經驗技巧230
14．1經驗技巧一：特徵處理230
14．1．1特徵提取：文本數據預處理230
14．1 ．2特徵選擇：篩選特徵組合234
14．2經驗技巧二：模型配置優化235
14．2．1模型配置優化方法：交叉驗證235
14．2．2模型配置優化方法：超參數搜索237
14．3編程實踐：手把手教你寫代碼239
14．3．1背景任務介紹：乳腺癌分類預測多模型對比演示240
14．3．2算法介紹：本案例算法簡介240
14．3．3代碼展示：手把手教你寫241
14．3．4代碼詳解：一步一步講解清楚244
14．4經驗總結：機器學習經驗之談252
14．4．1機器學習中的誤區252
14 ．4．2如何學好機器學習253