機器學習實用教程（微課版）

《機器學習實用教程》將根據高等院校所開設的《機器學習》教學實踐的要求，結合重慶工商大學教學實踐情況，重點講授重要的機器學習理論以及相關算法的實現。

劉波博士，重慶工商大學人工智能學院副教授。
主要研究興機器學習、計算機視覺，大數據分析等。發表論文10餘篇，以第一作者出版譯者8部，比如所譯的《 opencv 3計算機視覺：python語言實現》的銷量上萬冊，出版專著2部（其中一部為第一作者，一部為第二作者），教材1部，作為第一完成人獲得發明專利1項。
完成重慶市教委研究項目一項，重慶工商大學研究項目2項。

目錄

第1章機器學習概述1
1.1機器學習的定義1
1.2機器學習的發展歷史3
1.3機器學習的主要分支5
1.3.1監督學習5
1.3.2無監督學習7
1.3.3半監督學習8
1.3.4強化學習9
1.3.5深度學習10
1.4機器學習的應用12
1.4.1大數據分析12
1.4.2計算機視覺12
1.4.3自然語言處理13
1.4.4推薦系統13
1.5機器學習與其他學科的關係13
1.5.1與概率統計、矩陣計算、最優化的關係14
1.5.2與人工智能、大數據、數據科學之間的關係14
1.6總結15
1.7習題15
參考文獻16

第2章線性回歸17
2.1一元線性回歸18
2.2多元線性回歸21
2.2.1模型及求解21
2.2.2多元線性回歸應用舉例22
2.2.3解釋線性回歸模型24
2.3線性回歸的正則化25
2.3.1Lasso26
2.3.2Lasso的應用舉例28
2.4彈性網29機器學習實用教程(微課版)目錄2.5總結31
2.6習題31
參考文獻31

第3章感知機33
3.1分類的定義及應用33
3.2評價分類模型的指標34
3.3感知機原理37
3.3.1感知機的結構38
3.3.2感知機模型的數學表示38
3.3.3感知機算法41
3.4多層感知機44
3.4.1認知機44
3.4.2神經認知機45
3.5實例應用46
3.5.1感知機對線性可分數據集進行分類47
3.5.2感知機對線性不可分數據集進行分類47
3.5.3用多層感知機進行圖像分類47
3.6總結49
3.7習題49
參考文獻50

第4章logistic回歸51
4.1線性回歸與logistic回歸的關係51
4.2從統計的角度建立logistic回歸模型54
4.3訓練logistic回歸模型54
4.3.1拉格朗日法55
4.3.2梯度下降法55
4.4logistic回歸模型的三種解釋58
4.4.1基於概率的解釋58
4.4.2基於最大熵原理的解釋58
4.4.3基於貝葉斯原理的解釋60
4.5logistic回歸模型應用舉例61
4.6softmax回歸模型63
4.7總結64
4.8習題64
參考文獻65

第5章貝葉斯分類66
5.1高斯判別分析68
5.2樸素貝葉斯70
5.3改進的樸素貝葉斯74
5.4總結75
5.5習題75
參考文獻76

第6章決策樹78
6.1決策樹的基本概念78
6.2構建決策樹82
6.2.1不純度函數的定義82
6.2.2常用不純度函數83
6.3典型的決策樹算法85
6.3.1CART算法86
6.3.2ID3算法86
6.4決策樹的構建策略及預測87
6.5決策樹的停止標準與剪枝技術87
6.5.1停止標準88
6.5.2剪枝技術88
6.6決策樹的優缺點90
6.7總結91
6.8習題91
參考文獻92

第7章集成學習93
7.1集成學習的基本原理93
7.2AdaBoost95
7.2.1AdaBoost算法的實現96
7.2.2AdaBoost示例98
7.2.3用最優化的觀點解釋AdaBoost99
7.3隨機森林101
7.4總結104
7.5習題104
參考文獻105

第8章k近鄰算法107
8.1引言107
8.2k近鄰算法的原理及應用108
8.2.1k近鄰算法的工作原理109
8.2.2k近鄰算法在圖像檢索中的應用111
8.2.3k近鄰算法的優缺點113
8.3近似最近鄰算法113
8.3.1KD樹算法113
8.3.2KD樹算法的實現114
8.4k近鄰算法的應用117
8.5總結120
8.6習題120
參考文獻120

第9章主成分分析122
9.1維度災難122
9.2相關特徵與冗餘特徵124
9.3主成分分析的原理127
9.3.1用回歸的觀點解釋PCA128
9.3.2用消除相關性來解釋PCA128
9.3.3圖像數據的降維處理130
9.3.4主成分分析在數據分析中的應用131
9.4總結133
9.5習題133
參考文獻133

第10章無監督學習135
10.1無監督學習概述135
10.2聚類算法136
10.2.1聚類算法概述136
10.2.2聚類算法的評價指標137
10.3kmeans聚類算法141
10.3.1kmeans聚類算法原理141
10.3.2kmeans聚類算法的示例143
10.3.3改進的kmeans聚類算法146
10.4譜聚類算法150
10.4.1譜聚類算法的原理151
10.4.2譜聚類算法的實現155
10.4.3譜聚類算法的缺點156
10.5總結156
10.6習題157
參考文獻157

附錄A用Boston數據集解釋簡單線性回歸158
附錄B多元線性回歸應用159
附錄C嶺回歸應用160
附錄D感知機對線性可分數據集的分類161
附錄E多層感知機的實現163
附錄Flogistic回歸的實現164