模式識別——使用MATLAB分析與實現（第2版）

蔡利梅  中國礦業大學信息與控制工程學院副教授，長期從事圖像處理與模式識別領域的教學和研究工作。曾獲教育部高等學校科學技術進步獎二等獎、河南省科技進步獎二等獎、江蘇省科學技術獎三等獎、中國煤炭工業協會科學技術獎一等獎等省部級以上科技獎勵8項；獲國家發明專利授權2項；出版教材4部、科技圖書1部；獲校級教學成果獎特等獎1項，一等獎1項，全國煤炭行業教育教學成果獎三等獎1項，並多次獲校級“教書育人先進個人”、“百佳教師”等榮譽。

目錄

第1章緒論

1.1模式識別的基本概念

1.2模式識別方法

1.3模式識別系統

1.4模式識別的應用

習題

第2章貝葉斯決策

2.1貝葉斯決策的基本概念

2.2最小錯誤率貝葉斯決策

2.2.1決策規則

2.2.2錯誤率

2.2.3仿真實現

2.3最小風險貝葉斯決策

2.3.1決策規則

2.3.2兩種貝葉斯決策的關系

2.4樸素貝葉斯分類器

2.5NeymanPearson決策規則

2.6判別函數和決策面

2.7正態分布模式的貝葉斯決策

2.7.1正態概率密度函數

2.7.2正態概率模型下的最小錯誤率貝葉斯分類器

2.7.3仿真實現

2.8貝葉斯決策的實例

習題

第3章概率密度函數的估計

3.1基本概念

3.2參數估計

3.2.1最大似然估計

3.2.2最大後驗估計

3.2.3貝葉斯估計

3.3非參數估計

3.3.1直方圖方法

3.3.2Parzen窗法

3.3.3kN近鄰密度估計法

3.4最小錯誤率貝葉斯決策的實例

習題

第4章線性判別分析

4.1基本概念

4.1.1線性判別函數

4.1.2廣義線性判別函數

4.1.3線性判別函數的設計

4.2Fisher線性判別分析

4.2.1基本原理

4.2.2準則函數及求解

4.2.3分類決策

4.2.4仿真實現

4.3感知器算法

4.3.1基本概念

4.3.2感知器準則函數及求解

4.3.3仿真實現

4.4最小二乘法

4.4.1平方誤差和準則函數

4.4.2均方誤差準則函數

4.4.3仿真實現

4.5支持向量機

4.5.1最優分類超平面與線性支持向量機

4.5.2非線性可分與線性支持向量機

4.5.3核函數與支持向量機

4.5.4仿真實現

4.6多類問題

4.6.1化多類分類為兩類分類

4.6.2多類線性判別函數

4.6.3糾錯輸出編碼方法

4.7線性判別分析的實例

習題

第5章非線性判別分析

5.1近鄰法

5.1.1最小距離分類器

5.1.2分段線性距離分類器

5.1.3近鄰法及仿真實現

5.2二次判別函數

5.3決策樹

5.3.1基本概念

5.3.2決策樹的構建

5.3.3過學習與決策樹的剪枝

5.3.4仿真實現

5.4Logistic回歸

5.4.1基本原理

5.4.2多分類任務

5.4.3仿真實現

5.5非線性判別分析的實例

習題

第6章組合分類器

6.1組合分類器的設計

6.1.1個體分類器的差異設計

6.1.2分類器性能度量

6.1.3組合策略

6.2Bagging算法

6.3隨機森林

6.4Boosting算法

6.4.1AdaBoost算法

6.4.2LogitBoost算法

6.4.3Gentle AdaBoost算法

6.4.4仿真實現

6.5組合分類的實例

習題

第7章無監督模式識別

7.1聚類的基本概念

7.2相似性測度

7.2.1樣本相似性測度

7.2.2點和集合之間的相似性測度

7.2.3集合和集合之間的相似性測度

7.3動態聚類

7.3.1C均值算法

7.3.2C中心點聚類

7.3.3ISODATA算法

7.4層次聚類

7.4.1分裂層次聚類

7.4.2合並層次聚類

7.4.3仿真實現

7.5高斯混合聚類

7.5.1高斯混合分布

7.5.2高斯混合聚類的過程

7.5.3EM算法

7.5.4仿真實現

7.6模糊聚類

7.6.1模糊集的基本知識

7.6.2模糊C均值算法

7.7密度聚類

7.8聚類性能度量

7.8.1外部準則

7.8.2內部準則

7.8.3仿真實現

7.9聚類分析的實例

習題

第8章特征選擇

8.1概述

8.2特征的評價準則

8.2.1基於類內類間距離的可分性判據

8.2.2基於概率分布的可分性判據

8.2.3基於熵函數的可分性判據

8.2.4基於統計檢驗的可分性判據

8.2.5特征的相關性評價

8.3特征選擇的優化算法

8.3.1特征選擇的最優算法

8.3.2特征選擇的次優算法

8.3.3特征選擇的啟發算法

8.4過濾式特征選擇方法

8.4.1最小冗余最大相關算法

8.4.2Relief和ReliefF算法

8.4.3基於拉普拉斯分數的特征選擇算法

8.5包裹式特征選擇方法

8.6嵌入式特征選擇方法

習題

第9章特征提取

9.1概述

9.2基於類別可分性判據的特征提取

9.3KL變換

9.3.1KL變換的定義

9.3.2KL變換的性質

9.3.3信息量分析

9.3.4奇異值分解

9.3.5仿真實現

9.4獨立成分分析

9.4.1問題描述

9.4.2ICA算法

9.4.3RICA算法

9.5非負矩陣分解

9.6稀疏濾波

9.7多維尺度法

9.7.1經典尺度法

9.7.2度量型MDS

9.7.3非度量型MDS

9.7.4等度量映射

9.8tSNE算法

9.9其他非線性降維方法

9.9.1拉普拉斯特征映射

9.9.2局部線性嵌入

習題

第10章半監督學習

10.1基本概念

10.2半監督分類

10.2.1半監督自訓練分類

10.2.2生成式模型

10.2.3半監督支持向量機

10.2.4基於圖的半監督學習

10.3半監督聚類

10.3.1約束C均值算法

10.3.2約束種子C均值算法

10.4半監督降維

10.4.1半監督局部Fisher判別分析

10.4.2基於約束的半監督降維

習題

第11章人工神經網絡

11.1神經元模型

11.2多層感知器神經網絡

11.2.1單層感知器

11.2.2多層感知器

11.2.3學習算法

11.2.4損失函數

11.2.5網絡結構的設計

11.2.6在模式識別中的應用

11.3其他常見神經網絡

11.3.1徑向基函數神經網絡

11.3.2自組織映射網絡

11.3.3概率神經網絡

11.3.4學習向量量化神經網絡

11.4基於前饋型神經網絡的分類實例

11.5深度神經網絡簡介

11.5.1受限玻爾茲曼機與深度置信網絡

11.5.2卷積神經網絡

11.5.3循環神經網絡

11.5.4生成對抗網絡

習題

參考文獻