機器學習及其應用

第 1 章 機器學習基本概念 ............................................................................................................... 1
1.1 機器學習定義 ...................................................................................................................... 1
1.2 算法分類 ............................................................................................................................ 1
1.2.1 有監督學習 .............................................................................................................. 1
1.2.2 無監督學習 .............................................................................................................. 2
1.2.3 分類與回歸 .............................................................................................................. 2
1.2.4 判別模型與生成模型 ............................................................................................... 3
1.2.5 強化學習 .................................................................................................................. 4
1.3 模型評價指標 ..................................................................................................................... 4
1.4 模型選擇 ............................................................................................................................ 5
1.4.1 訓練誤差和泛化誤差 ............................................................................................... 6
1.4.2 驗證數據集 .............................................................................................................. 6
1.4.3 過擬合與欠擬合 ....................................................................................................... 7
1.4.4 偏差-方差分解 ........................................................................................................ 8
第 2 章 決策樹 ................................................................................................................................. 9
2.1 基本概念 ............................................................................................................................ 9
2.2 決策樹的構建 .................................................................................................................... 11
2.2.1 如何選擇最優的劃分屬性 ...................................................................................... 11
2.2.2 決策樹的關鍵參數 ................................................................................................. 13
2.2.3 決策樹的剪枝 ........................................................................................................ 14
2.2.4 連續值與缺失值的處理 ......................................................................................... 14
2.3 訓練算法 .......................................................................................................................... 16
2.3.1 遞歸分裂 ................................................................................................................ 16
2.3.2 尋找最佳分裂 ........................................................................................................ 17
2.3.3 葉節點值的設定 ..................................................................................................... 20
2.3.4 屬性缺失 ................................................................................................................ 20
2.3.5 剪枝算法 ................................................................................................................ 20
2.4 決策樹算法案例 ................................................................................................................ 21
2.4.1 案例 1：鳥類與非鳥類判定 ......................................................................................... 21
2.4.2 案例 2：隱形眼鏡的類型決策 ..................................................................................... 26
第 3 章 K 最近鄰算法 .................................................................................................................... 31
3.1 基本概念 .......................................................................................................................... 31
3.2 算法原理及要素 ............................................................................................................... 31
3.3 預測算法 .......................................................................................................................... 32
3.4 距離定義 .......................................................................................................................... 33
3.4.1 常用距離定義 ........................................................................................................ 34
3.4.2 距離度量學習 ........................................................................................................ 35
3.5 K 最近鄰算法案例 ........................................................................................................... 36
3.5.1 案例 1：基於 K 最近鄰算法的數據分類 ............................................................... 36
3.5.2 案例 2：基於 KNN 算法的手寫數字識別系統...................................................... 37
第 4 章 支持向量機 ....................................................................................................................... 41
4.1 基本概念 .......................................................................................................................... 41
4.2 線性分類器 ...................................................................................................................... 42
4.2.1 線性分類器概述 ..................................................................................................... 42
4.2.2 分類間隔 ................................................................................................................ 43
4.3 線性可分性 ...................................................................................................................... 43
4.3.1 原問題 .................................................................................................................... 44
4.3.2 對偶問題 ................................................................................................................ 45
4.4 線性不可分 ...................................................................................................................... 47
4.4.1 原問題 .................................................................................................................... 47
4.4.2 對偶問題 ................................................................................................................ 47
4.5 核映射與核函數 ............................................................................................................... 50
4.6 SMO 算法 ......................................................................................................................... 51
4.6.1 求解子問題 ............................................................................................................ 52
4.6.2 優化變量的選擇 ..................................................................................................... 55
4.7 多分類問題 ...................................................................................................................... 56
4.8 SVM 算法案例 ................................................................................................................. 57
4.8.1 基於無核函數的小規模數據分類 .......................................................................... 57
4.8.2 基於核函數的手寫數字識別 .................................................................................. 65
第 5 章 線性模型 ........................................................................................................................... 71
5.1 基本形式 .......................................................................................................................... 71
5.2 logistic 回歸 ...................................................................................................................... 71
5.3 正則化 logistic 回歸 ......................................................................................................... 74
5.3.1 對數似然函數 ........................................................................................................ 74
5.3.2 L2 正則化原問題 ................................................................................................... 75
5.3.3 L2 正則化對偶問題 ............................................................................................... 79
5.3.4 L1 正則化原問題 ................................................................................................... 80
5.4 logistic 回歸算法案例 ...................................................................................................... 81
5.4.1 logistic 回歸工作原理 ............................................................................................ 81
5.4.2 使用 logistic 回歸在簡單數據集上的分類 .............................................................. 81
第 6 章 貝葉斯分類器 ................................................................................................................... 85
6.1 貝葉斯決策 ...................................................................................................................... 85
6.1.1 貝葉斯決策概念 ..................................................................................................... 85
6.1.2 貝葉斯決策模型的定義 ......................................................................................... 86
6.1.3 貝葉斯決策的常用方法 ......................................................................................... 86
6.2 貝葉斯分類方法 ............................................................................................................... 89
6.3 樸素貝葉斯分類器 ........................................................................................................... 90
6.3.1 離散型特征 ............................................................................................................ 90
6.3.2 連續型特征 ............................................................................................................ 91
6.4 正態貝葉斯分類器 ........................................................................................................... 92
6.4.1 訓練算法 ................................................................................................................ 92
6.4.2 預測算法 ................................................................................................................ 93
6.5 貝葉斯分類器案例 ........................................................................................................... 94
第 7 章 數據降維 ........................................................................................................................... 99
7.1 主成分分析 ...................................................................................................................... 99
7.1.1 數據降維方法 ...................................................................................................... 100
7.1.2 計算投影矩陣 ...................................................................................................... 101
7.1.3 向量降維 .............................................................................................................. 103
7.1.4 向量重構 .............................................................................................................. 103
7.2 線性判別分析 ................................................................................................................. 103
7.2.1 線性判別分析原理 ............................................................................................... 103
7.2.2 構造判別模型的過程 ........................................................................................... 105
7.3 局部線性嵌入 ................................................................................................................. 106
7.4 拉普拉斯特征映射 ......................................................................................................... 107
7.5 數據降維算法案例 ......................................................................................................... 108
第 8 章 聚類算法 .......................................................................................................................... 112
8.1 聚類定義 ......................................................................................................................... 112
8.2 聚類分析過程及結果評估 .............................................................................................. 113
8.2.1 聚類分析過程 ....................................................................................................... 113
8.2.2 相似度度量 ........................................................................................................... 113
8.2.3 聚類算法的性能評估 ............................................................................................ 115
8.3 聚類算法分類 .................................................................................................................. 115
8.3.1 層次聚類算法 ....................................................................................................... 116
8.3.2 基於質心的聚類算法 ............................................................................................ 117
8.3.3 基於概率分布的聚類算法 .................................................................................... 118
8.3.4 基於密度的聚類算法 ........................................................................................... 121
8.4 算法評價指標 ................................................................................................................. 126
8.4.1 內部指標 .............................................................................................................. 126
8.4.2 外部指標 .............................................................................................................. 127
8.5 聚類算法案例 ................................................................................................................. 127
第 9 章 人工神經網絡 ................................................................................................................. 129
9.1 人工神經網絡概念 ......................................................................................................... 129
9.2 多層前饋型神經網絡 ..................................................................................................... 130
9.2.1 神經元 .................................................................................................................. 130
9.2.2 網絡結構 .............................................................................................................. 132
9.2.3 正向傳播算法 ...................................................................................................... 133
9.3 反向傳播算法 ................................................................................................................. 134
9.3.1 算法簡介 .............................................................................................................. 134
9.3.2 舉例說明 .............................................................................................................. 135
9.4 人工神經網絡案例 ......................................................................................................... 139
第 10 章 隨機森林 ....................................................................................................................... 143
10.1 集成學習 ...................................................................................................................... 143
10.1.1 集成學習概念 .................................................................................................... 143
10.1.2 隨機抽樣 ............................................................................................................ 144
10.1.3 Bagging 算法 ...................................................................................................... 144
10.2 隨機森林原理和生成過程 ........................................................................................... 145
10.3 訓練算法 ...................................................................................................................... 146
10.4 變量 .............................................................................................................................. 147
10.5 隨機森林案例 ............................................................................................................... 148
第 11 章 機器學習在生物信息中的應用 .................................................................................... 156
11.1 蛋白質相互作用熱點識別 ........................................................................................... 156
11.2 實驗數據集 ................................................................................................................... 157
11.2.1 訓練數據集 ........................................................................................................ 157
11.2.2 獨立測試集 ........................................................................................................ 158
11.3 特征提取與機器學習建模 ........................................................................................... 158
11.3.1 蛋白質特征 ........................................................................................................ 158
11.3.2 特征選擇 ............................................................................................................ 160
11.3.3 特征提取 ............................................................................................................ 161
11.3.4 機器學習建模 ..................................................................................................... 162
11.4 實驗結果分析 ............................................................................................................... 162
11.4.1 實驗環境說明 ..................................................................................................... 162
11.4.2 實驗評估指標 ..................................................................................................... 162
11.4.3 訓練集結果比較 ................................................................................................. 163
11.4.4 獨立測試集結果比較 ......................................................................................... 165
11.4.5 獨立測試集上具體蛋白質分析 ........................................................................... 168