機器學習——面向問題導向的案例教程

李旭，中共黨員，工學博士。2010年3月至今在大連工業大學從事計算機教學與科研工作，面向本科生先後講授包括《機器學習基礎》（44學時）、《數據分析與機器學習》（56學時）在內的課程7門，面向電子信息專業碩士講授《自然語言處理》（32學時），曾獲遼寧省青年教師講課競賽二等獎、遼寧省高校教師教學創新大賽三等獎，多次獲評校級教學評價優秀獎。 作者長期從事機器學習的研究工作，先後主持完成與機器學習相關的省部級課題3項、橫向項目4項，以第一作者身份在《自動化學報》《控制與決策》《IEEE ACCESS》等國內外期刊上發表論文20余篇，其中SCI、EI檢索15篇。主持教育部產學合作協同育人項目1項、承擔省部級、校級教學改革項目5項，以第一作者發表教研論文3篇。曾作為副主編編寫教材3部、參編教材2部。

目錄

第1章緒論 1

1.1為什麼使用機器學習1

1.2機器學習的基本術語3

1.3機器學習分類6

1.4機器學習的流程9

1.5編程環境及工具包10

本章小結11

思考與練習11

第2章k近鄰算法 13

2.1個性化車型推薦13

2.1.1算法原理與實現14

2.1.2sklearn中的機器學習算法封裝19

2.2kNN實現手寫數字識別22

2.2.1拆分數據集23

2.2.2使用窮舉搜索選擇最佳模型25

本章小結29

思考與練習29

第3章線性回歸 31

3.1便利店補貨量預測31

3.1.1簡單線性回歸32

3.1.2多元線性回歸36

3.2房價預測39

3.2.1回歸任務性能度量41

3.2.2梯度下降法求解線性回歸模型參數44

3.2.3回歸算法的對比及思考49

本章小結51

思考與練習51第4章多項式回歸 53

4.1降水量與牧草產量關系分析53

4.1.1用線性回歸算法實現多項式回歸54

4.1.2sklearn中的管道機制56

4.2曲線預測58

4.2.1模型泛化59

4.2.2驗證數據集與交叉驗證64

4.2.3抑制過擬合66

本章小結71

思考與練習71

第5章邏輯回歸 73

5.1察異辨花73

5.1.1算法原理及實現73

5.1.2分類任務性能度量79

5.1.3多類別分類86

5.2非線性邏輯回歸88

5.3信用卡欺詐檢測92

5.3.1類別不均衡數據93

5.3.2過采樣與欠采樣95

本章小結101

思考與練習101

第6章支持向量機104

6.1找出考試的通關秘籍104

6.1.1算法原理106

6.1.2軟間隔和正則化108

6.2使用核函數劃分異或數據111

6.3使用支持向量回歸擬合曲線119

本章小結122

思考與練習123

第7章決策樹 125

7.1貸款申請125

7.1.1什麼是決策樹126

7.1.2使用信息增益/增益率選擇劃分特征127

7.1.3使用基尼系數選擇劃分特征134

7.1.4應用決策樹進行預測137

7.2葡萄酒識別141

7.2.1sklearn中的決策樹142

7.2.2剪枝處理145

本章小結150

思考與練習151

第8章集成學習 152

8.1腫瘤診斷152

8.1.1Voting154

8.1.2Bagging157

8.1.3隨機森林160

8.2曲線擬合164

8.2.1Boosting165

8.2.2AdaBoost166

8.3使用Stacking算法分類鳶尾花171

本章小結174

思考與練習175

第9章神經網絡 176

9.1解決異或問題176

9.1.1神經元177

9.1.2感知機179

9.1.3多層感知機182

9.2多層感知機實現手寫數字識別187

9.2.1優化算法189

9.2.2抑制過擬合194

本章小結198

思考與練習199

第10章聚類200

10.1物以類聚200

10.1.1聚類任務201

10.1.2k均值算法203

10.1.3聚類算法評價指標210

10.2分門別類215

10.2.1DBSCAN算法215

10.2.2sklearn中的DBSCAN聚類算法218

本章小結220

思考與練習221

第11章主成分分析223

11.1正交化線性變換223

11.1.1PCA原理224

11.1.2sklearn中的PCA227

11.2數據降維、降噪及可視化230

本章小結234

思考與練習235

參考文獻236

附錄A237