走進人工智能——機器學習原理解析與應用

當前，人工智能正在改變世界，人工智能已經上升至國家戰略高度，面對人工智能在教育界掀起的層層浪花，本書針對人工智能知識譜系龐雜的問題，聚集人工智能教育在階段性教育中出現的斷層現象，基於信息技術學科教育教學研究實踐，以機器學習K近鄰、決策樹、隨機森林、支持向量機、神經網絡等18個經典的算法原理解析和具體應用為切入點，以Python編程IDE為操作工具，通過理論闡釋、案例分析、編程實踐，帶領讀者撥開迷霧，明晰路徑，體驗機器學習算法的奇妙，領略人工智能科學的精妙，獲取人工智能“學什麽、怎麽學、怎麽用”的方法。 本書內容包括概述、分類、回歸、聚類、關聯分析、數據預處理和人工神經網絡等內容。算法原理解析中所涉及的教學等晦澀內容都以知識窗的形式一一講解，表述通俗易懂；算法具體應用中的案例典型生動，編程代碼具體詳細，力求讓人工智能思想落地，直觀地展現於讀者面前。 本書主要面向基礎教育階段信息技術學科教師、高中學生以及電腦相關專業的大中專學生和對人工智能領域感興趣的大眾讀者，也可作為人工智能課程的學習材料。

目錄

第一部分 概 述

第1 章 人工智能基礎… …………………………………………………………………… 2

1. 1 人工智能 …………………………………………………………………………… 2

1. 1. 1 人工智能的由來 …………………………………………………………… 2

1. 1. 2 人工智能學科 ……………………………………………………………… 3

1. 2 機器學習 …………………………………………………………………………… 6

1. 2. 1 機器學習簡介 ……………………………………………………………… 6

1. 2. 2 機器學習的類別 …………………………………………………………… 7

1. 2. 3 機器學習的應用 …………………………………………………………… 9

本章小結 ………………………………………………………………………………… 10

第2 章 Python 環境搭建……………………………………………………………………11

2. 1 軟件的下載與安裝 ………………………………………………………………… 11

2. 1. 1 平臺一：海龜編輯器 ……………………………………………………… 11

2. 1. 2 平臺二： PyCharm ………………………………………………………… 13

2. 2 必需庫功能簡介 …………………………………………………………………… 20

2. 2. 1 numpy——基礎科學計算庫 ……………………………………………… 20

2. 2. 2 SciPy——科學計算工具集 ……………………………………………… 22

2. 2. 3 Pandas——數據分析利器 ………………………………………………… 23

2. 2. 4 matplotlib——圖形繪製法寶 ……………………………………………… 26

IV 走進人工智能——機器學習原理解析與應用

2. 2. 5 Sklearn——機器學習神器 ………………………………………………… 28

本章小結 ………………………………………………………………………………… 30

第二部分 分 類

第3 章 K 近鄰算法………………………………………………………………………… 33

3. 1 K 近鄰算法的原理 ………………………………………………………………… 33

3. 2 K 近鄰算法的應用 ………………………………………………………………… 37

3. 2. 1 K 近鄰算法的常用參數 …………………………………………………… 37

3. 2. 2 應用案例一：小說分類 …………………………………………………… 37

3. 2. 3 應用案例二：糖尿病診斷 ………………………………………………… 39

3. 3 K 近鄰算法的特點 ………………………………………………………………… 40

本章小結 ………………………………………………………………………………… 41

第4 章 決策樹… ………………………………………………………………………… 42

4. 1 決策樹的原理 ……………………………………………………………………… 42

4. 1. 1 決策樹的分類過程 ………………………………………………………… 42

4. 1. 2 決策樹的具體組成 ………………………………………………………… 43

4. 1. 3 構建決策樹的相關概念 …………………………………………………… 44

4. 2 決策樹的構建 ……………………………………………………………………… 47

4. 2. 1 建樹 ………………………………………………………………………… 47

4. 2. 2 剪枝 ………………………………………………………………………………… 49

4. 3 決策樹的應用 ……………………………………………………………………… 50

4. 3. 1 環境補充搭建 ……………………………………………………………… 50

4. 3. 2 決策樹的常用參數 ………………………………………………………… 50

4. 3. 3 應用案例：影院會員觀影喜好分析 ……………………………………… 51

4. 4 決策樹的特點 ……………………………………………………………………… 53

本章小結 ………………………………………………………………………………… 53

第5 章 隨機森林… ……………………………………………………………………… 54

5. 1 隨機森林的原理 …………………………………………………………………… 54

5. 1. 1 集成學習 …………………………………………………………………… 54

5. 1. 2 隨機森林的分類過程 ……………………………………………………… 55

目錄V

5. 2 隨機森林的構建 …………………………………………………………………… 57

5. 2. 1 訓練樣本隨機採樣 ………………………………………………………… 58

5. 2. 2 樣本特徵隨機選擇 ………………………………………………………… 59

5. 3 隨機森林的應用 …………………………………………………………………… 59

5. 3. 1 環境補充搭建 ……………………………………………………………… 59

5. 3. 2 RandomForestClassifier 類 ………………………………………………… 60

5. 3. 3 應用案例一：紅酒分類——決策樹與隨機森林分類器效果對比 ……… 60

5. 3. 4 應用案例二：影院會員觀影喜好分析 …………………………………… 61

5. 4 隨機森林的特點 …………………………………………………………………… 67

本章小結 ………………………………………………………………………………… 68

第6 章 支持向量機… …………………………………………………………………… 69

6. 1 支持向量機的邏輯原理 …………………………………………………………… 69

6. 2 支持向量機的數學原理解析 ……………………………………………………… 71

6. 2. 1 線性可分的情況 …………………………………………………………… 71

6. 2. 2 近似線性可分的情況 ……………………………………………………… 73

6. 2. 3 線性不可分的情況 ………………………………………………………… 74

6. 3 支持向量機中的核函數 …………………………………………………………… 76

6. 3. 1 支持向量機中常用核函數介紹 …………………………………………… 77

6. 3. 2 支持向量機中核函數的應用 ……………………………………………… 78

6. 4 支持向量機的應用 ………………………………………………………………… 80

6. 4. 1 SVM 類的常用參數 ……………………………………………………… 80

6. 4. 2 應用案例：情緒分類 ……………………………………………………… 80

本章小結 ………………………………………………………………………………… 84

第7 章 貝葉斯算法… …………………………………………………………………… 85

7. 1 貝葉斯算法的原理 ………………………………………………………………… 85

7. 1. 1 貝葉斯公式 ………………………………………………………………… 85

7. 1. 2 貝葉斯算法的原理（以樸素貝葉斯算法為例） ………………………… 89

7. 1. 3 貝葉斯算法的類別 ………………………………………………………… 90

7. 2 貝葉斯算法的應用 ………………………………………………………………… 91

7. 2. 1 調用方法 …………………………………………………………………… 91

7. 2. 2 應用案例：識別毒蘑菇 …………………………………………………… 91

VI 走進人工智能——機器學習原理解析與應用

7. 3 貝葉斯算法的特點 ………………………………………………………………… 93

本章小結 ………………………………………………………………………………… 94

第三部分 回 歸

第8 章 線性回歸… ……………………………………………………………………… 97

8. 1 一元線性回歸的原理 ……………………………………………………………… 98

8. 2 一元線性回歸的應用 …………………………………………………………… 100

8. 2. 1 LinearRegression 類的常用參數 ………………………………………… 100

8. 2. 2 應用案例：房屋翻修成本預測 ………………………………………… 101

8. 3 多元線性回歸的原理 …………………………………………………………… 103

8. 4 多元線性回歸的應用 …………………………………………………………… 105

8. 5 線性回歸算法的特點 …………………………………………………………… 107

本章小結 ……………………………………………………………………………… 108

第9 章 多項式回歸… ………………………………………………………………… 109

9. 1 一元多項式回歸的原理 ………………………………………………………… 110

9. 2 一元多項式回歸的應用 ………………………………………………………… 114

9. 2. 1 PolynomialFeatures 類的常用參數 ……………………………………… 114

9. 2. 2 應用案例：紅酒價值預測 ……………………………………………… 114

9. 3 多元多項式回歸的原理 ………………………………………………………… 117

9. 4 多元多項式回歸的應用 ………………………………………………………… 119

9. 5 多項式回歸的特點 ……………………………………………………………… 120

本章小結 ……………………………………………………………………………… 120

第10 章 LASSO 回歸與嶺回歸… …………………………………………………… 122

10. 1 L1 範數正則化——LASSO 回歸 …………………………………………… 123

10. 1. 1 LASSO 回歸中的alpha 參數調節 …………………………………… 125

10. 1. 2 LASSO 類的常用參數 ……………………………………………… 125

10. 1. 3 應用案例：對糖尿病數據集進行擬合 …………………………… 126

10. 2 L2 範數正則化——嶺回歸 …………………………………………………… 130

10. 2. 1 嶺回歸中的alpha 參數調節 ………………………………………… 131

10. 2. 2 Ridge 類的常用參數 ………………………………………………… 132

目錄VII

10. 2. 3 應用案例：對糖尿病數據集進行擬合 …………………………… 132

10. 3 LASSO 回歸與嶺回歸的異同 ………………………………………………… 137

10. 3. 1 LASSO 回歸與嶺回歸的共同點 …………………………………… 137

10. 3. 2 LASSO 回歸與嶺回歸的區別 ……………………………………… 137

本章小結 ……………………………………………………………………………… 137

第11 章 邏輯回歸……………………………………………………………………… 138

11. 1 邏輯回歸的原理 ……………………………………………………………… 139

11. 2 邏輯回歸的應用 ……………………………………………………………… 143

11. 2. 1 邏輯回歸算法的常用參數 ………………………………………… 143

11. 2. 2 應用案例：鳶尾花分類 …………………………………………… 144

11. 3 邏輯回歸實現多分類的原理 ………………………………………………… 145

11. 3. 1 OVR/A（One Vs Rest/All） ………………………………………… 146

11. 3. 2 OVO（One Vs One） ………………………………………………… 147

11. 4 多分類邏輯回歸的應用 ……………………………………………………… 148

11. 5 邏輯回歸的特點 ……………………………………………………………… 150

本章小結 ……………………………………………………………………………… 150

第12 章 模型評估與優化……………………………………………………………… 152

12. 1 交叉驗證 ……………………………………………………………………… 152

12. 1. 1 K 折交叉驗證的原理 ………………………………………………… 154

12. 1. 2 交叉驗證法的具體應用 ……………………………………………… 155

12. 1. 3 留一交叉驗證法 ……………………………………………………… 157

12. 2 分類模型的可信度評估 ………………………………………………………… 158

12. 2. 1 混淆矩陣 ……………………………………………………………… 159

12. 2. 2 分類系統的評價指標 ………………………………………………… 160

12. 2. 3 應用案例：識別乳腺癌 ……………………………………………… 162

12. 3 回歸模型的可信度評估 ……………………………………………………… 163

12. 3. 1 平均絕對誤差 ………………………………………………………… 164

12. 3. 2 均方誤差 ……………………………………………………………… 164

12. 3. 3 均方根誤差 …………………………………………………………… 165

12. 3. 4 R2 ……………………………………………………………………… 166

12. 3. 5 應用案例：波士頓房價預測 ………………………………………… 166

12. 4 超參數調優 …………………………………………………………………… 168

VIII 走進人工智能——機器學習原理解析與應用

12. 4. 1 簡單網格搜索來尋找超參數 ……………………………………… 168

12. 4. 2 與交叉驗證結合的網格搜索 ……………………………………… 170

本章小結 ……………………………………………………………………………… 172

第四部分 聚 類

第13 章 物以類聚：K 均值聚類… …………………………………………………… 175

13. 1 K 均值算法的原理 …………………………………………………………… 175

13. 1. 1 K 均值算法的基本思想 …………………………………………… 176

13. 1. 2 算法基本過程 ……………………………………………………… 177

13. 2 K 均值算法的應用 …………………………………………………………… 178

13. 2. 1 KMeans 類的常用參數 ……………………………………………… 178

13. 2. 2 應用案例一：鳶尾花的聚類 ……………………………………… 179

13. 2. 3 應用案例二：甜西瓜的由來（一） ………………………………… 181

13. 3 K 均值算法的特點 …………………………………………………………… 184

本章小結 ……………………………………………………………………………… 184

第14 章 DBSCAN 聚類……………………………………………………………… 185

14. 1 DBSCAN 算法的原理 ………………………………………………………… 186

14. 1. 1 DBSCAN 算法的核心概念 ………………………………………… 186

14. 1. 2 DBSCAN 算法的基本過程 ………………………………………… 187

14. 2 DBSCAN 算法的應用 ………………………………………………………… 189

14. 2. 1 DBSCAN 類的常用參數 ……………………………………………… 189

14. 2. 2 應用案例一：小濤的問題 …………………………………………… 190

14. 2. 3 應用案例二：甜西瓜的由來（二） ………………………………… 191

14. 3 DBSCAN 算法的特點 ………………………………………………………… 193

本章小結 ……………………………………………………………………………… 193

第五部分 關 聯 分 析

第15 章 Apriori 算法…………………………………………………………………… 196

15. 1 Apriori 算法的原理 …………………………………………………………… 196

15. 1. 1 關聯分析中的相關概念 ……………………………………………… 196

目錄IX

15. 1. 2 Apriori 算法的原理 …………………………………………………… 197

15. 2 Apriori 算法的應用 …………………………………………………………… 201

15. 2. 1 Apriori 類的常用參數 ………………………………………………… 201

15. 2. 2 應用案例一：貨架調整 ……………………………………………… 201

15. 2. 3 應用案例二：餐廳菜品 ……………………………………………… 203

15. 3 Apriori 算法的特點 …………………………………………………………… 206

本章小結 ……………………………………………………………………………… 206

第六部分 數據預處理

第16 章 數據歸一與標準化…………………………………………………………… 209

16. 1 數據歸一化與標準化的必要性 ……………………………………………… 209

16. 2 數據歸一化 …………………………………………………………………… 210

16. 2. 1 離差法過程 …………………………………………………………… 210

16. 2. 2 均值歸一化過程 ……………………………………………………… 211

16. 2. 3 數據歸一化的應用 …………………………………………………… 211

16. 3 數據標準化 …………………………………………………………………… 213

16. 3. 1 數據標準化過程 ……………………………………………………… 214

16. 3. 2 數據標準化的應用 …………………………………………………… 214

16. 4 數據預處理實例 ……………………………………………………………… 216

本章小結 …………………………………………………………………………… 219

第17 章 神奇的工具PCA……………………………………………………………… 220

17. 1 PCA 算法的基本原理 ………………………………………………………… 221

17. 1. 1 PCA 的簡單理解 ……………………………………………………… 221

17. 1. 2 向量投影與內積 ……………………………………………………… 222

17. 1. 3 PCA——選擇最優的基 ……………………………………………… 224

17. 1. 4 PCA 的基本過程 ……………………………………………………… 227

17. 2 PCA 算法的應用 ……………………………………………………………… 229

17. 2. 1 PCA 類的常用參數 …………………………………………………… 229

17. 2. 2 應用案例一：對鳶尾花進行PCA 降維 …………………………… 229

17. 3 PCA 算法的特點 ……………………………………………………………… 231

本章小結 ……………………………………………………………………………… 231

X 走進人工智能——機器學習原理解析與應用

第七部分 人工神經網絡

第18 章 自主學習—— MLP 算法… …………………………………………………… 234

18. 1 人工神經網絡的發展簡史 …………………………………………………… 234

18. 2 單層感知機 …………………………………………………………………… 236

18. 3 多層感知機 …………………………………………………………………… 240

18. 3. 1 MLP 的基本原理 ……………………………………………………… 240

18. 3. 2 MLP 前向傳播 ………………………………………………………… 242

18. 3. 3 MLP 後向傳播 ………………………………………………………… 245

18. 3. 4 梯度下降 ……………………………………………………………… 248

18. 4 MLP 算法的應用 ……………………………………………………………… 253

18. 4. 1 MLPClassifier 類的常用參數 ………………………………………… 253

18. 4. 2 應用案例一：一起去游樂場 ………………………………………… 254

18. 4. 3 應用案例二：圖片文字識別 ………………………………………… 256

18. 5 MLP 算法的特點 ……………………………………………………………… 259

本章小結 ……………………………………………………………………………… 259