模式識別

系統介紹模式識別的基本概念、理論體系、典型方法以及實際應用實例，強調基礎性和實用性，同時兼顧學科發展的**動向，包括了各種典型方法在R和Matlab環境下的現有程序和應用方法，並包括了對針對大數據應用的模式識別方法的討論。

張學工，1989年畢業於清華大學，1994年獲得博士學位，現為清華大學自動化系教授，清華信息科學與技術國家實驗室（籌）生物信息學研究部主任，主要研究方向是模式識別與機器學習、生物信息學與計算生物學。
已經在國內外重要期刊發表論文200多篇，出版教材2部、譯著2部，曾獲國家科技進步二等獎，2006年獲得國家傑出青年基金，2009年獲國家j教學成果一等獎，所開設的《模式識別基礎》課程2007年被評為國家精品課。

第1章 概論
1.1 模式與模式識別
1.2 模式識別的主要方法
1.3 監督模式識別與非監督模式識別
1.4 模式識別系統舉例
1.5 模式識別系統的典型構成
1.6 本書的主要內容

第2章 統計決策方法
2.1 引言：一個簡單的例子
2.2 最小錯誤率貝葉斯決策
2.3 最小風險貝葉斯決策
2.4 兩類錯誤率、Neyman?Pearson決策與ROC曲線
2.5 正態分佈時的統計決策
2.5.1 正態分佈及其性質回顧
2.5.2 正態分佈概率模型下的最小錯誤率貝葉斯決策
2.6 錯誤率的計算
2.6.1 正態分佈且各類協方差矩陣相等情況下錯誤率的計算
2.6.2 高維獨立隨機變量時錯誤率的估計
2.7 離散時間序列樣本的統計決策
2.7.1 基因組序列的例子
2.7.2 馬爾可夫模型及在馬爾可夫模型下的貝葉斯決策
2.7.3 隱馬爾可夫模型簡介
2.8 小結與討論

第3章 概率密度函數的估計
3.1 引言
3.2 最大似然估計
3.2.1 最大似然估計的基本原理
3.2.2 最大似然估計的求解
3.2.3 正態分佈下的最大似然估計
3.3 貝葉斯估計與貝葉斯學習
3.3.1 貝葉斯估計
3.3.2 貝葉斯學習
3.3.3 正態分佈時的貝葉斯估計
3.3.4 其他分佈的情況
3.4 概率密度估計的非參數方法
3.4.1 非參數估計的基本原理與直方圖方法
3.4.2 kN近鄰估計方法
3.4.3 Parzen窗法

第4章 隱馬爾可夫模型與貝葉斯網絡
4.1 引言
4.2 貝葉斯網絡的基本概念
4.3 隱馬爾可夫模型（HMM）
4.3.1 HMM評估問題
4.3.2 HMM隱狀態推斷問題（解碼問題）
4.3.3 HMM學習問題
4.4 樸素貝葉斯分類器（Na??veBayes）
4.5 在貝葉斯網絡上的條件獨立性
4.6 貝葉斯網絡模型的學習
4.6.1 貝葉斯網絡的參數學習
4.6.2 貝葉斯網絡的結構學習
4.7 討論

第5章 線性學習機器與線性分類器
5.1 引言
5.2 線性回歸
5.3 線性判別函數的基本概念
5.4 Fisher線性判別分析
5.5 感知器
5.6 最小平方誤差判別
5.7 羅傑斯特回歸
5.8 最優分類超平面與線性支持向量機
5.8.1 最優分類超平面
5.8.2 大間隔與推廣能力
5.8.3 線性不可分情況
5.9 多類線性分類器
5.9.1 多個兩類分類器的組合
5.9.2 多類線性判別函數
5.9.3 多類羅傑斯特回歸與軟最大
5.10 討論

第6章 典型的非線性分類器
6.1 引言
6.2 分段線性判別函數
6.2.1 分段線性距離分類器
6.2.2 一般的分段線性判別函數
6.3 二次判別函數
6.4 多層感知器神經網絡
6.4.1 神經元與感知器
6.4.2 用多個感知器實現非線性分類
6.4.3 反向傳播算法
6.4.4 多層感知器網絡用於模式識別
6.4.5 神經網絡結構的選擇
6.4.6 前饋神經網絡與傳統模式識別方法的關係
6.4.7 人工神經網絡的一般知識
6.5 支持向量機
6.5.1 廣義線性判別函數
6.5.2 核函數變換與支持向量機
6.5.3 支持向量機早期應用舉例
6.5.4 支持向量機的實現算法
6.5.5 多類支持向量機
6.5.6 用於函數擬合的支持向量機--支持向量回歸
6.6 核函數機器
6.6.1 大間隔機器與核函數機器
6.6.2 核Fisher判別
6.6.3 中心支持向量機
6.7 討論

第7章 統計學習理論概要
7.1 引言
7.2 機器學習問題的提法
7.2.1 機器學習問題的函數估計表示
7.2.2 經驗風險最小化原則及其存在的問題
7.3 學習過程的一致性
7.4 函數集的容量與VC維
7.5 推廣能力的界與結構風險最小化原則
7.6 支持向量機的理論分析
7.7 不適定問題和正則化方法簡介
7.7.1 不適定問題
7.7.2 正則化方法
7.7.3 常見的正則化方法
7.8 討論

第8章 非參數學習機器與集成學習
8.1 引言
8.2 近鄰法
8.2.1 最近鄰法
8.2.2 k?近鄰法
8.2.3 近鄰法的快速算法
8.2.4 剪輯近鄰法
8.2.5 壓縮近鄰法
8.3 決策樹與隨機森林
8.3.1 非數值特徵的量化
8.3.2 決策樹
8.3.3 過學習與決策樹的剪枝
8.3.4 隨機森林
8.4 Boosting集成學習
8.5 討論

第9章 特徵選擇
9.1 引言
9.2 用於分類的特徵評價準則
9.2.1 基於類內類間距離的可分性判據
9.2.2 基於概率分佈的可分性判據
9.2.3 基於熵的可分性判據
9.2.4 利用統計檢驗作為可分性判據
9.3 特徵選擇的最優算法
9.4 特徵選擇的次優算法
9.5 遺傳算法
9.6 包裹法：以分類性能為準則的特徵選擇方法
9.7 討論

第10章 特徵提取與降維表示
10.1 引言
10.2 基於類別可分性判據的特徵提取
10.3 主成分分析
10.4 Karhunen?Loève變換
10.4.1 K?L變換
10.4.2 用於監督模式識別的K?L變換
10.5 用“本徵臉”作為人臉識別的特徵
10.6 高維數據的低維可視化
10.7 多維尺度（MDS）法
10.7.1 MDS的基本概念
10.7.2 古典尺度法
10.7.3 度量型MDS
10.7.4 非度量型MDS
10.7.5 MDS在模式識別中的應用舉例
10.8 非線性特徵變換方法簡介
10.8.1 核主成分分析（KPCA）
10.8.2 IsoMap方法和LLE方法
10.9 t?SNE降維可視化方法
10.10 討論

第11章 非監督學習與聚類
11.1 引言
11.2 基於模型的聚類方法
11.3 混合模型的估計
11.3.1 混合密度的最大似然估計
11.3.2 混合正態分佈的參數估計
11.4 動態聚類算法
11.4.1 C均值算法（K均值算法）
11.4.2 ISODATA方法
11.4.3 基於核的動態聚類算法
11.5 模糊聚類方法
11.5.1 模糊集的基本知識
11.5.2 模糊C均值算法
11.5.3 改進的模糊C均值算法
11.6 分級聚類方法
11.7 自組織映射（SOM）神經網絡
11.7.1 SOM網絡結構
11.7.2 SOM學習算法和自組織特性
11.7.3 SOM網絡用於模式識別
11.8 一致聚類方法
11.9 討論

第12章 深度學習
12.1 引言
12.2 人工神經網絡回顧
12.3 卷積神經網絡（CNN）
12.3.1 卷積層
12.3.2 匯集（池化）
12.3.3 深層卷積神經網絡
12.3.4 卷積神經網絡的演化和幾個代表性模型
12.3.5 卷積神經網絡在非圖像數據上的應用舉例
12.4 循環神經網絡（RNN）
12.4.1 Hopfield神經網絡
12.4.2 循環神經網絡
12.5 長短時記憶模型（LSTM）
12.6 自編碼器、限制性玻爾茲曼機與深度信念網絡
12.6.1 自編碼器
12.6.2 用多層自編碼器構造深度神經網絡
12.6.3 限制性玻爾茲曼機（RBM）
12.6.4 深度自編碼器與深度信念網絡（DBN）
12.7 生成模型
12.7.1 變分自編碼器（VAE）
12.7.2 生成對抗網絡（GAN）
12.8 綜合應用舉例
12.8.1 中文病歷文本生成
12.8.2 人工基因調控元件的生成
12.9 深度學習算法中的部分常用技巧
12.10 討論

第13章 模式識別系統的評價
13.1 引言
13.2 監督模式識別的錯誤率估計
13.2.1 訓練錯誤率
13.2.2 測試錯誤率
13.2.3 交叉驗證
13.2.4 自舉法與0.6 32估計
13.3 有限樣本下錯誤率的區間估計
13.3.1 問題的提出
13.3.2 用擾動重採樣估計SVM錯誤率的置信區間
13.4 特徵提取與選擇對分類器性能估計的影響
13.5 用分類性能進行關係推斷
13.6 非監督模式識別系統性能的評價
13.6.1 聚類質量的評價
13.6.2 聚類結果的比較
13.7 討論

第14章 常用模式識別與機器學習軟件平台
14.1 引言
14.2 Python中的模式識別工具包
14.2.1 sklearn中的回歸方法使用舉例
14.2.2 sklearn中的分類方法使用舉例
14.2.3 Python下的深度學習編程舉例
14.2.4 國內研發的深度學習平台簡介
14.3 MATLAB中的模式識別工具包
14.3.1 MATLAB中的回歸方法使用舉例
14.3.2 MATLAB中的分類方法使用舉例
14.4 R中的模式識別工具包
14.4.1 R中的回歸方法使用舉例
14.4.2 R中的分類方法使用舉例
14.5 討論

第15章 討論：模式識別、機器學習與人工智能
15.1 模式識別
15.2 機器學習
15.3 多元分析
15.4 人工智能
15.5 展望

參考文獻
後記
索引