機器學習原理與應用

王偉，博士（中科院），副教授、校聘教授，周口市大數據相關項目咨詢評審專家，主要從事計算機視覺、模式識別、機器學習等研究與教學工作。2015年入職周口師範學院，在ISPRS（國際頂級期刊）、Neurocomputing、The Visual Computer、中國科學、自動化學報、電子學報等國內外知名期刊或中文一級期刊發表學術論文10余篇、申報與獲批發明專利4項、獲批軟件著作權8項、主持省部級及產學研項目14項（累積到帳經費187萬）、榮獲河南省教育廳優秀科技論文獎一等獎2項、二等獎1項；指導學生獲批國家級大學生創新創業項目2項、河南省大學生創新創業項目3項、校級大學生科研創新項目3項、校級實驗室開放課題1項，榮獲第六屆河南省物聯網設計大賽特等獎1項、“挑戰杯”河南省大學生課外學術科技作品競賽二等獎1項、發表中文核心論文1篇；曾獲周口師範學院優秀教師、優秀共產黨員、優秀畢業論文指導教師、優秀實習指導教師等榮譽。

 

第 1章 概述 1

1.1 定義 1

1.2 發展歷程與趨勢 2

1.2.1 發展歷程 2

1.2.2 發展趨勢 2

1.3 基本原理與術語 3

1.3.1 基本原理 3

1.3.2 關鍵術語 4

1.4 數學本質 6

1.4.1 模型定義 7

1.4.2 模型求解 7

1.5 PYTHON語言基礎 8

1.5.1 概述 8

1.5.2 基本語法 8

1.5.3 數據類型 10

1.5.4 運算符與表達式 14

1.5.5 程序控制結構 17

1.5.6 函數 19

1.5.7 面向對象 22

1.5.8 文件 25

1.6 常用庫 26

1.6.1 科學計算庫（Numpy） 27

1.6.2 機器學習庫（Scikit-learn） 31

1.6.3 繪圖庫（Matplotlib） 32

1.6.4 圖像處理庫（PIL與Torchvision） 38

第 2章 特征工程 44

2.1 基本原理 44

2.2 特征預處理 45

2.2.1 異常值檢測 45

2.2.2 數據采樣 46

2.2.3 規範化 46

2.2.4 離散化 48

2.2.5 特征編碼 48

2.3 特征選擇 50

2.3.1 特征過濾（Filter） 50

2.3.2 特征包裝（Wrapper） 54

2.3.3 特征嵌入（Embedded） 55

2.4 特征提取 57

2.4.1 主成分分析 57

2.4.2 線性判別分析 62

第3章 線性回歸 71

3.1 基本原理 71

3.1.1 基本概念 71

3.1.2 數學模型與求解 72

3.2 應用實例 74

3.2.1 體重預測 74

3.2.2 糖尿病預測 76

3.2.3 房價預測 78

第4章 LOGISTIC回歸 82

4.1基本原理 82

4.1.1 基本概念 82

4.1.2 數學模型與求解 82

4.2 應用實例 84

4.2.1 分類可視化 84

4.2.2 鳶尾花識別 86

4.2.3 乳腺癌預測 89

第5章 樸素貝葉斯 93

5.1 基本原理 93

5.1.1 基本概念 93

5.1.2 主要類型 95

5.2 應用實例 95

5.2.1 高斯樸素貝葉斯 97

5.2.2 多項式樸素貝葉斯 99

5.2.3 伯努利樸素貝葉斯 102

5.2.4 補集樸素貝葉斯 103

第6章 K近鄰 107

6.1 基本原理 107

6.1.1 基本概念 107

6.1.2 KD樹 107

6.1.3 常見問題 108

6.2 應用實例 111

6.2.1 參數分析 111

6.2.2 約會預測 113

6.2.3 KD樹應用 116

第7章 決策樹 120

7.1 基本原理 120

7.1.1 ID3算法 120

7.1.2 C4.5算法 123

7.1.3 CART算法 123

7.2 應用實例 123

7.2.1 紅酒分類 124

7.2.2 薪水預測 127

第8章 支持向量機 132

8.1 基本原理 132

8.1.1 數學模型 132

8.1.2 核函數 133

8.2 應用實例 135

8.2.1 參數分析 135

8.2.3 在線教學分析 137

8.2.3 幸福指數預測 141

第9章 K均值聚類 145

9.1 基本原理 145

9.1.1 基本概念 145

9.1.2 評價標準 146

9.1.3 擴展類型 146

9.2 應用實例 147

9.2.1 參數分析 148

9.2.2 文本聚類 149

9.2.3 睡眠障礙預測 152

9.2.4 圖像顏色聚類 155

第 10章 高斯混合模型 158

10.1 基本原理 158

10.1.1 基本概念 158

10.1.2 數學模型 159

10.2 應用實例 161

10.2.1 數據聚類 161

10.2.2 圖像生成 164

第 11章 人工神經網絡 167

11.1 基本原理 167

11.1.1 基本概念 167

11.1.2 數學模型 168

11.2 應用實例 169

11.2.1 學生表現預測 170

11.2.2 心臟病預測 173

11.2.3 曲線擬合 177

第 12章 深度學習 179

12.1 基本原理 179

12.1.1 基本概念 179

12.1.2 PyTorch框架 180

12.2 應用實例 188

12.2.1 回歸分析 188

12.2.2 Logistic回歸 193

12.2.3 自動編碼解碼器 199

12.2.4 卷積神經網絡 202

12.2.5 生成式對抗網絡 206

12.2.6 殘差神經網絡 210

12.2.7 孿生神經網絡 213

第 13章 集成學習 220

13.1 基本原理 220

13.1.1 基本概念 220

13.1.2 基礎方法 221

13.1.3 集成框架 222

13.2 應用實例 226

13.2.1 基礎方法 227

13.2.2 AdaBoost 231

13.2.3 梯度提升樹 235

13.2.4 XGBoost 240

13.2.5 隨機森林 244

13.2.6 Stacking分類與回歸 249

參考文獻 254