機器學習入門基礎（微課版）

機器學習專門研究電腦怎樣模擬或實現人類的學習行為，它是人工智能的核心，是使電腦具有智能的根本途徑，其應用遍及人工智能的各個領域。本書是一本機器學習的入門書，通過本書，學習者將初步理解主流的機器學習算法，並且可以用機器學習技術解決現實生活中的問題。只要有本科三年級以上的數學知識，會一種編程語言，就可以掌握本書的絕大部分內容。 本書共有15章，主要講解經典的機器學習算法，如線性回歸、邏輯回歸、決策樹等，同時講解近幾年才出現的算法，如XGBoost、LightGBM等集成學習算法。此外，本書還會講解利用機器學習解決問題的實用技術，如Python、Scikitlearn工具的使用等。 本書配套有教學大綱、教學進度、教學課件、教學視頻及習題，可以作為專科生、本科生、研究生的機器學習教材，也可以作為從事機器學習、數據挖掘相關工作的研究人員和技術人員的參考書。

目錄

第1章引言1

1.1機器學習概述1

1.2機器學習發展史2

1.3機器學習的類型5

1.3.1監督學習5

1.3.2無監督學習7

1.3.3強化學習8

1.4機器學習的主要概念9

1.4.1模型9

1.4.2損失函數9

1.4.3優化算法10

1.4.4模型評估10

1.5機器學習的背景知識11

1.5.1數學基礎11

1.5.2編程基礎11

1.6機器學習的開發流程12

1.7本書概述13

1.7.1本書結構13

1.7.2學習路線14

習題14

參考文獻16

第2章數學基礎回顧(選修)17

2.1數學基礎的必要性17

2.1.1數學基礎概述17

2.1.2符號定義17

2.2高等數學18

2.2.1導數的定義18〖3〗機器學習入門基礎（微課版）目錄〖3〗2.2.2左右導數的幾何意義和物理意義18

2.2.3函數的可導性與連續性之間的關系19

2.2.4平面曲線的切線和法線19

2.2.5四則運算法則19

2.2.6基本導數與微分表19

2.2.7復合函數、反函數、隱函數及參數方程所確定的函數的微分法20

2.2.8常用高階導數公式20

2.2.9微分中值定理21

2.2.10泰勒公式21

2.2.11函數單調性的判斷22

2.2.12函數凹凸性的判斷23

2.3線性代數23

2.3.1基本概念23

2.3.2矩陣乘法24

2.3.3向量向量乘法25

2.3.4矩陣向量乘法25

2.3.5矩陣矩陣乘法26

2.3.6單位矩陣和對角矩陣27

2.3.7矩陣的轉置28

2.3.8對稱矩陣28

2.3.9矩陣的跡28

2.3.10矩陣求導常見公式29

2.3.11範數29

2.3.12線性相關性和秩30

2.3.13方陣的逆31

2.3.14正交陣31

2.3.15行列式31

2.3.16二次型和半正定矩陣32

2.3.17特徵值和特徵向量33

2.4概率論與數理統計34

2.4.1概率的基本要素34

2.4.2條件概率和獨立性35

2.4.3隨機變量35

2.4.4累積分佈函數36

2.4.5概率質量函數37

2.4.6概率密度函數37

2.4.7期望38

2.4.8方差38

2.4.9一些常見的隨機變量39

2.4.10聯合分佈和邊緣分佈41

2.4.11條件概率分佈41

2.4.12貝葉斯定理41

2.4.13獨立性42

2.4.14期望和協方差42

2.4.15KL散度43

2.5優化理論43

2.5.1梯度下降法43

2.5.2牛頓法44

2.5.3拉格朗日乘子法45

習題46

參考文獻48

第3章機器學習庫Scikitlearn49

3.1背景知識49

3.2Scikitlearn概述50

3.3Scikitlearn主要用法51

3.3.1基本建模流程51

3.3.2數據預處理53

3.3.3監督學習算法55

3.3.4無監督學習算法56

3.3.5評價指標57

3.3.6交叉驗證及超參數調優58

3.4Scikitlearn總結60

習題60

參考文獻62

第4章回歸63

4.1線性回歸63

4.1.1符號定義63

4.1.2背景知識66

4.1.3線性回歸求解66

4.2最小二乘法66

4.3梯度下降67

4.3.1批梯度下降68

4.3.2隨機梯度下降68

4.3.3小批量梯度下降69

4.3.4梯度下降的數學推導69

4.3.5梯度下降與最小二乘法比較70

4.4數據規範化70

4.4.1數據規範化概述70

4.4.2數據規範化的主要方式71

4.4.3數據規範化的適用範圍71

4.5正則化72

4.5.1過擬合和欠擬合72

5.5.2過擬合的處理72

4.5.3欠擬合的處理73

4.5.4正則化的主要形式73

4.6回歸的評價指標74

習題76

參考文獻78

第5章邏輯回歸79

5.1分類問題79

5.2Sigmoid函數80

5.2.1Sigmoid函數概述80

5.2.2Sigmoid函數的特點80

5.2.3Sigmoid函數的原理81

5.3邏輯回歸82

5.3.1邏輯回歸算法思想82

5.3.2邏輯回歸的原理82

5.4邏輯回歸算法總結85

習題86

參考文獻88

第6章樸素貝葉斯89

6.1貝葉斯方法89

6.1.1先驗概率、後驗概率、聯合分佈89

6.1.2判別模型和生成模型90

6.2樸素貝葉斯原理90

6.2.1樸素貝葉斯概述90

6.2.2拉普拉斯平滑91

6.2.3樸素貝葉斯公式推導92

6.2.4樸素貝葉斯案例93

6.3樸素貝葉斯分類算法總結95

習題95

參考文獻97

第7章機器學習實踐99

7.1數據集劃分99

7.1.1訓練集、驗證集和測試集劃分99

7.1.2交叉驗證100

7.1.3不平衡數據處理101

7.2評價指標103

7.2.1回歸的評價指標103

7.2.2分類的評價指標103

7.2.3評價指標案例106

7.3正則化、偏差和方差107

7.3.1欠擬合和過擬合107

7.3.2正則化107

7.3.3偏差和方差109

習題111

參考文獻113

第8章KNN算法115

8.1距離度量115

8.1.1歐幾里得距離115

8.1.2曼哈頓距離116

8.1.3切比雪夫距離116

8.1.4閔可夫斯基距離117

8.1.5漢明距離117

8.1.6餘弦相似度118

8.2KNN算法簡介119

8.2.1KNN算法概述119

8.2.2KNN算法流程120

8.3KD樹劃分120

8.3.1KD樹概述120

8.3.2KD樹劃分案例121

8.4KD樹搜索124

8.4.1KD樹搜索概述124

8.4.2KD樹搜索案例125

習題126

參考文獻128

第9章決策樹129

9.1決策樹原理129

9.1.1決策樹概述129

9.1.2決策樹算法思想130

9.2ID3算法130

9.2.1ID3算法概述130

9.2.2ID3劃分標準131

9.2.3ID3算法總結133

9.3C4.5算法133

9.3.1C4.5算法概述133

9.3.2C4.5劃分標準134

9.3.3C4.5剪枝處理134

9.3.4C4.5算法總結138

9.4CART算法139

9.4.1CART算法概述139

9.4.2CART分類樹139

9.4.3CART回歸樹142

9.4.4CART剪枝處理142

9.4.5CART算法總結142

9.5決策樹總結143

9.5.13種決策樹算法的差異143

9.5.2決策樹的優缺點143

習題144

參考文獻146

第10章集成學習147

10.1集成學習概述147

10.1.1Bagging147

10.1.2Boosting148

10.1.3Stacking148

10.2隨機森林149

10.2.1隨機森林算法思想149

10.2.2隨機森林算法總結150

10.3AdaBoost算法150

10.3.1AdaBoost算法思想150

10.3.2AdaBoost算法總結152

10.4GBDT算法153

10.4.1GBDT算法思想154

10.4.2GBDT算法總結156

10.5XGBoost算法156

10.5.1XGBoost算法思想156

10.5.2XGBoost算法推導158

10.5.3XGBoost算法總結161

10.6LightGBM算法161

10.6.1LightGBM算法思想162

10.6.2LightGBM算法總結166

習題167

參考文獻169

第11章人工神經網絡(選修)171

11.1人工神經網絡概述171

11.2感知機模型172

11.2.1感知機模型概述172

11.2.2感知機算法流程172

11.3反向傳播算法173

11.3.1反向傳播算法概述173

11.3.2反向傳播算法流程174

11.3.3反向傳播算法總結178

習題179

參考文獻182

第12章支持向量機183

12.1支持向量機概述183

12.1.1算法思想183

12.1.2背景知識184

12.2線性可分支持向量機185

12.2.1算法思想185

12.2.2求解步驟186

12.3線性支持向量機188

12.3.1鬆弛變量188

12.3.2求解步驟188

12.4線性不可分支持向量機190

12.4.1算法思想190

12.4.2核技巧190

12.4.3常用核函數191

12.4.4支持向量機的超參數191

12.5支持向量機算法總結192

12.5.1支持向量機普遍使用的準則192

12.5.2算法優缺點193

習題193

參考文獻195

第13章聚類196

13.1聚類概述196

13.1.1無監督學習概述196

13.1.2聚類算法思想196

13.1.3聚類的背景知識198

13.2Kmeans聚類199

13.2.1Kmeans算法思想199

13.2.2Kmeans算法總結203

13.3密度聚類204

13.3.1DBSCAN算法概述204

13.3.2DBSCAN算法思想205

13.3.3DBSCAN算法總結208

13.4層次聚類208

13.4.1層次聚類概述208

13.4.2聚合聚類209

13.4.3分裂聚類209

13.4.4層次聚類算法總結210

13.5聚類的評價指標210

13.5.1均一性210

13.5.2完整性211

13.5.3Vmeasure211

13.5.4輪廓系數211

13.5.5調整蘭德系數212

習題212

參考文獻214

第14章降維215

14.1降維概述215

14.1.1維數災難215

14.1.2降維概述215

14.2奇異值分解216

14.2.1SVD概述216

14.2.2SVD的算法思想217

14.2.3SVD的算法案例219

14.2.4SVD的一些應用220

14.3主成分分析222

14.3.1PCA概述222

14.3.2PCA算法思想222

14.3.3PCA算法案例225

14.3.4PCA算法總結225

習題226

參考文獻229

第15章關聯規則230

15.1關聯規則概述230

15.2Apriori算法231

15.2.1Apriori算法概述231

15.2.2Apriori算法思想232

15.2.3Apriori算法案例232

15.2.4Apriori算法總結235

15.3FPGrowth算法235

15.3.1FPGrowth算法概述235

15.3.2FPGrowth算法思想235

15.3.3FPGrowth算法案例236

15.3.4FPGrowth算法總結240

15.4ECLAT算法240

15.4.1ECLAT算法概述240

15.4.2ECLAT算法思想241

15.4.3ECLAT算法總結241

習題242

參考文獻244