機器學習原理及應用

鄒黎敏，重慶工商大學數學與統計學院副教授。先後在國內外期刊上發表論文50余篇，其中SCI收錄30余篇，EI檢索10余篇。主持重慶市科技局項目2項、重慶市教委科技計劃項目4項，參與國家自然科學基金青年基金項目3項，主持重慶市教委教學改革項目1項，發表教研論文5篇，參編教材3部。

目錄

資源下載

第1章機器學習概述

1.1引例

1.1.1鳶尾花分類預測

1.1.2糖尿病風險預測

1.1.3中國城市聚類分析

1.1.4醫院醫療質量評價

1.2機器學習基本概念

1.2.1數據驅動

1.2.2數據特征

1.2.3訓練、驗證和測試

1.2.4模型、策略及算法

1.2.5評估指標

1.3機器學習算法分類

1.3.1監督學習

1.3.2無監督學習

1.3.3半監督學習

1.3.4自監督學習

1.3.5遷移學習

1.3.6強化學習

1.4機器學習集成開發環境

1.4.1Anaconda+Spyder

1.4.2Anaconda+Jupyter Notebook

1.4.3PyCharm

1.4.4Visual Studio Code

1.5Sklearn簡介

1.6數據預處理

習題

第2章K近鄰算法

2.1找到近鄰

2.2K近鄰分類

2.3K近鄰回歸

2.4K近鄰算法的優缺點及其改進

2.4.1K近鄰算法的優缺點

2.4.2K近鄰算法的改進

習題

第3章模型評估與選擇

3.1評估方法

3.1.1留出法

3.1.2交叉驗證法

3.1.3自助采樣法

3.2性能度量

3.2.1回歸的性能度量

3.2.2分類的性能度量

3.2.3聚類的性能度量

3.3比較檢驗

3.4偏差與方差

習題

第4章樸素貝葉斯

4.1引例

4.2條件概率與乘法公式

4.2.1條件概率

4.2.2乘法公式

4.3樸素貝葉斯分類

4.4拉普拉斯修正

4.5基於樸素貝葉斯的電能質量評價

習題

第5章線性回歸及其改進

5.1引例

5.2線性回歸

5.2.1線性回歸原理

5.2.2線性回歸實踐

5.2.3非負線性回歸

5.2.4多項式擬合

5.3嶺回歸、Lasso回歸以及彈性網絡回歸

5.3.1嶺回歸

5.3.2Lasso回歸

5.3.3彈性網絡回歸

5.4主成分分析與主成分回歸

5.4.1主成分分析

5.4.2主成分回歸

5.5偏最小二乘回歸

5.6貝葉斯回歸

5.6.1貝葉斯線性回歸簡介

5.6.2貝葉斯線性回歸原理

5.6.3貝葉斯線性回歸實踐

5.7高斯過程回歸

5.7.1核函數

5.7.2高斯過程回歸的原理

5.7.3高斯過程回歸的實現

習題

第6章邏輯回歸

6.1樣本聯合分布函數

6.2極大似然估計

6.3邏輯回歸原理

6.3.1基於極大似然原理推導邏輯回歸

6.3.2基於信息熵推導邏輯回歸

6.4邏輯回歸的拓展

6.4.1邏輯回歸的正則化

6.4.2多分類問題

6.5基於邏輯回歸的信用卡欺詐檢測

6.5.1類別不平衡問題

6.5.2欠采樣

6.5.3過采樣

6.5.4信用卡欺詐檢測模型建立

習題

第7章神經網絡

7.1神經網絡簡介

7.1.1神經網絡發展

7.1.2神經網絡分類

7.2多層感知機

7.2.1回歸神經網絡

7.2.2分類神經網絡

7.3神經網絡實踐

7.3.1配電網設備風險評估

7.3.2手寫數字識別

習題

第8章支持向量機

8.1支持向量機簡介

8.2支持向量機分類

8.3支持向量機回歸

8.4非線性支持向量機

習題

第9章決策樹

9.1引例

9.2條件熵和信息增益

9.2.1條件熵

9.2.2信息增益

9.3ID3與C4.5決策樹

9.3.1ID3決策樹

9.3.2C4.5決策樹

9.4分類與回歸樹

9.4.1分類樹

9.4.2回歸樹

9.5決策樹的實踐

9.5.1基於決策樹的葡萄酒分類預測

9.5.2基於決策樹的空間曲面函數值預測

習題

第10章集成學習

10.1引例

10.2常見的集成學習方法

10.2.1裝袋法

10.2.2Boosting

10.3隨機森林與極端隨機樹

10.4梯度提升決策樹

10.5極限梯度提升樹

10.6輕量梯度提升樹

10.7類別型特征梯度提升樹

10.8組合策略

10.8.1平均法

10.8.2硬投票

10.8.3軟投票

10.8.4學習法

習題

第11章特征選擇與提取

11.1特征選擇

11.1.1方差閾值法

11.1.2相關系數法

11.1.3互信息法

11.1.4基於樹的特征選擇

11.1.5遞歸特征消除

11.1.6基於正則化特征選擇

11.2特征提取

11.2.1文本特征提取

11.2.2圖像特征提取

11.2.3流形學習

習題

第12章K均值聚類

12.1聚類簡介

12.1.1聚類算法分類

12.1.2聚類算法註意事項

12.2K均值聚類的原理與實踐

12.2.1K均值聚類思想

12.2.2K均值聚類實例

12.3K均值聚類的優缺點

習題

第13章高斯混合模型

13.1高斯分布

13.1.1一維高斯分布

13.1.2多維高斯分布

13.2高斯混合模型的原理與實踐

13.2.1高斯混合模型的原理

13.2.2高斯混合模型的求解

13.2.3高斯混合模型的實踐

習題

第14章譜聚類

14.1圖的基本概念

14.1.1鄰接矩陣

14.1.2度矩陣

14.1.3拉普拉斯矩陣

14.2譜聚類的原理與實踐

14.2.1構建鄰接矩陣

14.2.2無向圖切圖

14.2.3RatioCut切圖

14.2.4NCut切圖

14.2.5譜聚類算法流程

14.2.6譜聚類算法實踐

習題

第15章綜合評價方法

15.1綜合評價簡介

15.2逼近理想解排序法

15.2.1指標正向化

15.2.2指標無量綱化

15.2.3確定正負理想解

15.2.4計算備選方案到理想解的距離

15.2.5計算備選方案得分

15.3指標權重計算方法

15.3.1變異系數法

15.3.2熵權法

15.3.3CRITIC法

習題

附錄A向量與矩陣

A.1向量內積與範數

A.2矩陣分解

A.3矩陣範數

附錄B最優化方法

B.1梯度下降法

B.2拉格朗日乘數法

參考文獻