模式識別——使用Python分析與實現

蔡利梅，中國礦業大學資訊與控制工程學院副教授。長期從事影像處理與模式辨識領域的教學與研究工作。先後開設「影像處理」「模式辨識」「電腦圖形學」「數碼視訊技術」「影像分析及辨識」等多門大學部學生及研究生課程。獲教育部高等學校科學技術進步獎二等獎、河南省科技進步獎二等獎、江蘇省科學技術獎三等獎、中國煤炭工業協會科學技術獎一等獎等省部級以上科技獎勵8項，並獲得其他科技獎勵6項；申請國家發明專利4項（已獲授權2項）；出版教材1部；獲其他科技獎勵6項；申請國家發明專利4項（已獲授權2項）；出版教材1部；獲教育業三項獎。

目錄

 

第1章緒論

 

微課視頻4分鐘

 

1.1模式識別的基本概念

 

1.2模式識別方法

 

1.3模式識別系統

 

1.4模式識別的應用

 

1．5模擬環境與工具簡介

 

習題

 

第2章貝葉斯決策

 

微課視頻15分鐘

 

2.1貝葉斯決策的基本概念

 

2.2最小錯誤率貝葉斯決策

 

2.2.1決策規則

 

2.2.2錯誤率

 

2.2.3模擬實現

 

2.3最小風險貝葉斯決策

 

2.3.1決策規則

 

2.3.2兩種貝葉斯決策的關系

 

2.4樸素貝葉斯分類器

 

2.5NeymanPearson決策規則

 

2.6判別函數和決策面

 

2.7正態分佈模式的貝葉斯決策

 

2.7.1正態概率密度函數

 

2.7.2正態概率模型下的最小錯誤率貝葉斯分類器

 

2．7．3模擬實現

 

2.8貝葉斯決策的實例

 

習題

 

第3章概率密度函數的估計

 

微課視頻6分鐘

 

3.1基本概念

 

3.2參數估計

 

3.2.1最大似然估計

 

3.2.2最大後驗估計

 

3.2.3貝葉斯估計

 

3.3非參數估計

 

3.3.1直方圖方法

 

3.3.2Parzen窗法

 

3.3.3kN近鄰密度估計法

 

3.4最小錯誤率貝葉斯決策的實例

 

習題

 

第4章線性判別分析

 

微課視頻17分鐘

 

4.1基本概念

 

4.1.1線性判別函數

 

4.1.2廣義線性判別函數

 

4.1.3線性判別函數的設計

 

4.2Fisher法

 

4.2.1基本原理

 

4.2.2準則函數及求解

 

4.2.3分類決策

 

4.2.4模擬實現

 

4.3感知器算法

 

4.3.1基本概念

 

4.3.2感知器準則函數及求解

 

4.3.3模擬實現

 

4.4最小二乘法

 

4.4.1平方誤差和準則函數

 

4.4.2均方誤差準則函數

 

4．4．3模擬實現

 

4.5支持向量機

 

4.5.1最優分類超平面與線性支持向量機

 

4.5.2非線性可分與線性支持向量機

 

4.5.3核函數與支持向量機

 

4．5．4模擬實現

 

4.6多類分類問題

 

4.6.1化多類分類為兩類分類

 

4.6.2多類線性判別函數

 

4.6.3糾錯輸出編碼方法

 

4.7線性判別分析的實例

 

習題

 

第5章非線性判別分析

 

微課視頻11分鐘

 

5.1近鄰法

 

5.1.1最小距離分類器

 

5.1.2分段線性距離分類器

 

5.1.3近鄰法及模擬實現

 

5.2二次判別函數

 

5.3決策樹

 

5.3.1基本概念

 

5.3.2決策樹的構建

 

5.3.3過學習與決策樹的剪枝

 

5．3．4模擬實現

 

5.4Logistic回歸

 

5.4.1基本原理

 

5.4.2多類分類任務

 

5．4．3模擬實現

 

5.5非線性判別分析的實例

 

習題

 

第6章組合分類器

 

微課視頻12分鐘

 

6.1組合分類器的設計

 

6.1.1個體分類器的差異設計

 

6.1.2分類器性能度量

 

6.1.3組合策略

 

6.2Bagging算法

 

6.3隨機森林

 

6.4Boosting算法

 

6.4.1AdaBoost算法

 

6．4．2多類分類AdaBoost算法

 

6．4．3Gradient Boosting算法

 

6.5組合分類的實例

 

習題

 

第7章無監督模式識別

 

微課視頻3分鐘

 

7.1聚類算法的基本概念

 

7.2相似性測度

 

7.2.1樣本相似性測度

 

7.2.2點和集合之間的相似性測度

 

7.2.3集合和集合之間的相似性測度

 

7.3動態聚類算法

 

7.3.1C均值聚類算法

 

7.3.2ISODATA算法

 

7.4層次聚類算法

 

7.4.1分裂層次聚類

 

7.4.2合並層次聚類

 

7．4．3模擬實現

 

7.5高斯混合聚類算法

 

7.5.1高斯混合分佈

 

7.5.2高斯混合聚類

 

7.5.3EM算法

 

7.5.4模擬實現

 

7.6模糊聚類算法

 

7.6.1模糊集合的基本知識

 

7.6.2模糊C均值聚類算法

 

7.7密度聚類算法

 

7.8聚類性能度量

 

7.8.1外部準則

 

7.8.2內部準則

 

7.9聚類分析的實例

 

習題

 

第8章特徵選擇

 

微課視頻9分鐘

 

8.1概述

 

8.2特徵的評價準則

 

8.2.1基於類內類間距離的可分性判據

 

8.2.2基於概率分佈的可分性判據

 

8.2.3基於熵函數的可分性判據

 

8.2.4基於統計檢驗的可分性判據

 

8.2.5特徵的相關性評價

 

8.3特徵選擇的優化算法

 

8.3.1特徵選擇的最優算法

 

8.3.2特徵選擇的次優算法

 

8.3.3特徵選擇的啟發式算法

 

8．4過濾式特徵選擇方法

 

8．5包裹式特徵選擇方法

 

8.6嵌入式特徵選擇方法

 

習題

 

第9章特徵提取

 

微課視頻3分鐘

 

9.1概述

 

9.2基於類可分性判據的特徵提取

 

9.3KL變換

 

9.3.1KL變換的定義

 

9.3.2KL變換的性質

 

9.3.3信息量分析

 

9.3.4奇異值分解

 

9.3.5模擬實現

 

9.4獨立成分分析

 

9.4.1問題描述

 

9.4.2ICA算法

 

9．4．3模擬實現

 

9.5非負矩陣分解

 

9.6稀疏濾波

 

9.7多維尺度法

 

9.7.1經典尺度法

 

9.7.2度量型MDS法

 

9.7.3非度量型MDS法

 

9.7.4等度量映射

 

9.8tSNE算法

 

9.9其他非線性降維方法

 

9.9.1拉普拉斯特徵映射

 

9.9.2局部線性嵌入

 

習題

 

第10章半監督學習

 

10.1基本概念

 

10.2半監督分類

 

10.2.1生成式模型

 

10.2.2半監督支持向量機

 

10.2.3基於圖的半監督學習

 

10.3半監督聚類

 

10.3.1約束C均值算法

 

10.3.2約束種子C均值算法

 

10.4半監督降維

 

10.4.1半監督局部Fisher判別分析

 

10.4.2基於約束的半監督降維

 

習題

 

第11章人工神經網絡

 

11.1神經元模型

 

11.2多層感知器神經網絡

 

11.2.1單層感知器

 

11.2.2多層感知器

 

11.2.3學習算法

 

11．2．4損失函數

 

11.2.5網絡結構的設計

 

11.2.6在模式識別中的應用

 

11.3其他常見神經網絡

 

11.3.1徑向基函數神經網絡

 

11.3.2自組織映射網絡

 

11.3.3概率神經網絡

 

11.3.4學習向量量化神經網絡

 

11.4基於前饋型神經網絡的分類實例

 

11.5深度神經網絡簡介

 

11.5.1受限玻爾茲曼機與深度置信網絡

 

11.5.2捲積神經網絡

 

11.5.3循環神經網絡

 

11.5.4生成對抗網絡

 

習題

 

參考文獻