機器學習導論 原書第4版

現為土耳其安茲耶因大學（?zyegin University）計算機科學系教授。之前他一直在土耳其海峽大學（Bogazici University）任教，於2019年1月退休。他本科畢業於土耳其海峽大學，1990年在瑞士洛桑聯邦理工學院獲博士學位，1991年回到土耳其海峽大學任教，期間曾在美國麻省理工學院和加州大學伯克利分校從事研究工作。Ethem博士主要研究方向是人工智能和機器學習，曾擔任劍橋大學的《The Computer Journal》雜誌編委和Elsevier的《Pattern Recognition》雜誌副主編。2001年和2002年，Ethem博士先後獲得土耳其科學院青年科學家獎和土耳其科學與技術研究委員會科學獎；他是土耳其科學院院士。

目錄

譯者序
前言
符號表

第1章　緒論　1
1.1　什麼是機器學習　1
1.2　機器學習應用的示例　2
1.2.1　關聯規則　2
1.2.2　分類　3
1.2.3　回歸　5
1.2.4　無監督學習　6
1.2.5　強化學習　7
1.3　歷史　7
1.4　相關主題　9
1.4.1　高效能計算　9
1.4.2　資料隱私與安全　9
1.4.3　模型的可解釋性和可信度　10
1.4.4　資料科學　10
1.5　練習　10
1.6　參考文獻　12

第2章　有監督學習　13
2.1　從示例中學習類別　13
2.2　Vapnik–Chervonenkis 維　16
2.3　概率近似正確學習　17
2.4　雜訊　18
2.5　學習多分類　19
2.6　回歸　20
2.7　模型選擇與泛化　22
2.8　有監督機器學習演算法的維度　24
2.9　註釋　25
2.10　練習　25
2.11　參考文獻　27

第3章　貝葉斯決策理論　28
3.1　引言　28
3.2　分類　29
3.3　損失和風險　30
3.4　判別函數　32
3.5　關聯規則　33
3.6　註釋　34
3.7　練習　35
3.8　參考文獻　38

第4章　參數方法　39
4.1　引言　39
4.2　極大似然估計　39
4.2.1　伯努利密度　40
4.2.2　多項密度　40
4.2.3　高斯（常態）密度　41
4.3　評估估計量：偏差和方差　41
4.4　貝葉斯估計量　43
4.5　參數分類　45
4.6　回歸　47
4.7　調整模型複雜度：偏差／方差困境　50
4.8　模型選擇程序　52
4.9　註釋　55
4.10　練習　55
4.11　參考文獻　57

第5章　多變量方法　58
5.1　多變量資料　58
5.2　參數估計　58
5.3　缺失值的估計　59
5.4　多變量常態分布　60
5.5　多變量分類　62
5.6　調整複雜度　66
5.7　離散型特徵　68
5.8　多變量回歸　69
5.9　註釋　70
5.10　練習　71
5.11　參考文獻　72

第6章　降維　73
6.1　引言　73
6.2　子集選擇　74
6.3　主成分分析　76
6.4　特徵嵌入　80
6.5　因子分析　82
6.6　奇異值分解與矩陣分解　85
6.7　多維縮放　86
6.8　線性判別分析　88
6.9　典型相關分析　92
6.10　等距特徵映射　93
6.11　局部線性嵌入　94
6.12　拉普拉斯特徵映射　96
6.13　t 分布隨機鄰域嵌入　98
6.14　註釋　99
6.15　練習　100
6.16　參考文獻　101

第7章　聚類　103
7.1　引言　103
7.2　混合密度　103
7.3　k-均值聚類　104
7.4　期望最大化演算法　107
7.5　混合潛在變量模型　110
7.6　聚類後的有監督學習　111
7.7　譜聚類　112
7.8　層次聚類　113
7.9　選擇簇的數量　114
7.10　註釋　114
7.11　練習　115
7.12　參考文獻　116

第8章　非參數方法　118
8.1　引言　118
8.2　非參數密度估計　119
8.2.1　直方圖估計量　119
8.2.2　核估計量　120
8.2.3　k-近鄰估計量　121
8.3　多變量資料的泛化　123
8.4　非參數分類　123
8.5　濃縮近鄰法　124
8.6　基於距離的分類　125
8.7　離群值檢測　127
8.8　非參數回歸：平滑模型　128
8.8.1　移動平均平滑器　128
8.8.2　核平滑器　130
8.8.3　移動線平滑器　130
8.9　如何選擇平滑參數　131
8.10　註釋　132
8.11　練習　133
8.12　參考文獻　135

第9章　決策樹　137
9.1　引言　137
9.2　單變量樹　138
9.2.1　分類樹　138
9.2.2　回歸樹　141
9.3　剪枝　144
9.4　從樹中提取規則　144
9.5　從資料中學習規則　145
9.6　多變量樹　148
9.7　註釋　149
9.8　練習　150
9.9　參考文獻　152

第10章　線性判別　153
10.1　引言　153
10.2　線性模型的歸納　154
10.3　線性判別式的幾何原理　155
10.3.1　二分類　155
10.3.2　多分類　156
10.4　逐對分割　156
10.5　重溫參數判別　157
10.6　梯度下降　159
10.7　邏輯判別　159
10.7.1　二分類　159
10.7.2　多分類　162
10.7.3　多標籤　165
10.8　排序學習　165
10.9　註釋　166
10.10　練習　167
10.11　參考文獻　169

第11章　多層感知機　170
11.1　引言　170
11.1.1　理解大腦　170
11.1.2　作為平行處理範例的神經網路　171
11.2　感知機　172
11.3　訓練感知機　174
11.4　學習布林函數　175
11.5　多層感知機詳解　176
11.6　作為通用近似器的 MLP　177
11.7　反向傳播演算法　179
11.7.1　非線性回歸　179
11.7.2　二分類判別　182
11.7.3　多分類判別　183
11.7.4　多標籤判別　183
11.8　過度訓練　184
11.9　學習隱藏表徵　185
11.10　自編碼器　187
11.11　word2vec 架構　188
11.12　註釋　190
11.13　練習　191
11.14　參考文獻　192

第12章　深度學習　194
12.1　引言　194
12.2　如何訓練多個隱藏層　196
12.2.1　線性整流函數　196
12.2.2　初始化　196
12.2.3　將反向傳播泛化至多個隱藏層　196
12.3　提高訓練的收斂性　198
12.3.1　動量　199
12.3.2　自適應學習因子　199
12.3.3　批量正規化　200
12.4　正則化　201
12.4.1　提示　201
12.4.2　權重衰減　202
12.4.3　丟棄法　204
12.5　卷積層　204
12.5.1　思想　204
12.5.2　形式化　205
12.5.3　示例：LeNet-5 與 AlexNet　207
12.5.4　擴展　208
12.5.5　多模態深度網路　209
12.6　調整網路結構　209
12.6.1　結構與超參數搜尋　209
12.6.2　跳躍連接　210
12.6.3　閘控單元　211
12.7　學習序列　211
12.7.1　示例任務　211
12.7.2　時延神經網路　212
12.7.3　循環網路　212
12.7.4　長短期記憶單元　213
12.7.5　閘控循環單元　214
12.8　生成對抗網路　215
12.9　註釋　216
12.10　練習　217
12.11　參考文獻　218

第13章　局部模型　221
13.1　引言　221
13.2　競爭學習　221
13.2.1　線上 k-均值　221
13.2.2　自適應共振理論　224
13.2.3　自組織映射　224
13.3　徑向基函數　225
13.4　融合基於規則的知識　229
13.5　正規化基函數　230
13.6　競爭基函數　231
13.7　學習向量量化　233
13.8　混合專家系統　233
13.8.1　協同專家系統　235
13.8.2　競爭專家系統　235
13.9　層次混合專家系統與軟決策樹　236
13.10　註釋　237
13.11　練習　237
13.12　參考文獻　239

第14章　核機　241
14.1　引言　241
14.2　可分離超平面　242
14.3　不可分情況：軟邊距超平面　244
14.4　ν-SVM　246
14.5　核技巧　247
14.6　向量核　248
14.7　定義核　250
14.8　多重核學習　251
14.9　多類別核機　252
14.10　用於回歸的核機　253
14.11　用於排序的核機　256
14.12　單類別核機　257
14.13　大邊距近鄰分類器　259
14.14　核降維　260
14.15　註釋　261
14.16　練習　262
14.17　參考文獻　263

第15章　圖模型　265
15.1　引言　265
15.2　條件獨立性的典型案例　266
15.3　生成模型　271
15.4　d-分離　272
15.5　信念傳播　272
15.5.1　鏈　273
15.5.2　樹　274
15.5.3　多叉樹　275
15.5.4　聯合樹　277
15.6　無向圖：馬可夫隨機場　277
15.7　學習圖模型的結構　279
15.8　影響圖　279
15.9　註釋　280
15.10　練習　280
15.11　參考文獻　282

第16章　隱馬可夫模型　284
16.1　引言　284
16.2　離散馬可夫過程　284
16.3　隱馬可夫模型詳解　286
16.4　隱馬可夫模型的三個基本問題　287
16.5　評估問題　288
16.6　尋找狀態序列　290
16.7　學習模型參數　292
16.8　連續型觀測　294
16.9　作為圖模型的隱馬可夫模型　294
16.10　隱馬可夫模型中的模型選擇　296
16.11　註釋　298
16.12　練習　299
16.13　參考文獻　301

第17章　貝葉斯估計法　302
17.1　引言　302
17.2　離散分布參數的貝葉斯估計　304
17.2.1　K＞2 狀態：狄利克雷分布　304
17.2.2　K＝2 狀態：貝塔分布　305
17.3　高斯分布參數的貝葉斯估計　306
17.3.1　單變量：未知均值、已知方差　306
17.3.2　單變量：未知均值、未知方差　307
17.3.3　多變量：未知均值、未知協方差　309
17.4　函數參數的貝葉斯估計　309
17.4.1　回歸　310
17.4.2　為雜訊精度假定先驗的回歸　312
17.4.3　基函數／核函數的使用　314
17.4.4　貝葉斯分類法　315
17.5　選擇先驗　317
17.6　貝葉斯模型比較　317
17.7　混合模型的貝葉斯估計　319
17.8　非參數貝葉斯模型　321
17.9　高斯過程　321
17.10　狄利克雷過程與中餐館　324
17.11　潛在狄利克雷分配　325
17.12　貝塔過程與印度自助餐　326
17.13　註釋　327
17.14　練習　328
17.15　參考文獻　328

第18章　多學習器的組合　330
18.1　原理　330
18.2　生成多樣化的學習器　330
18.3　模型組合方案　332
18.4　投票法　333
18.5　糾錯輸出碼　335
18.6　裝袋法　337
18.7　提升法　337
18.8　重溫混合專家系統　339
18.9　堆疊泛化　340
18.10　對集成進行微調　341
18.10.1　為集成選擇子集　341
18.10.2　構建元學習器　341
18.11　級聯　342
18.12　註釋　343
18.13　練習　344
18.14　參考文獻　345

第19章　強化學習　348
19.1　引言　348
19.2　單一狀態案例：K 臂拉霸機　349
19.3　強化學習的要素　350
19.4　基於模型的學習　351
19.4.1　價值疊代　351
19.4.2　策略疊代　352
19.5　時序差分學習　352
19.5.1　探索策略　353
19.5.2　確定性獎勵與行動　353
19.5.3　非確定性獎勵與行動　354
19.5.4　資格跡　355
19.6　泛化　357
19.7　部分可觀測狀態　358
19.7.1　背景　358
19.7.2　示例：老虎問題　359
19.8　深度 Q 學習　363
19.9　策略梯度　364
19.10　學習下西洋雙陸棋與圍棋　365
19.11　註釋　366
19.12　練習　367
19.13　參考文獻　368

第20章　機器學習實驗的設計與分析　370
20.1　引言　370
20.2　實驗的因素、回應與策略　371
20.3　回應面設計　373
20.4　隨機化、重複與阻斷　373
20.5　機器學習實驗指南　374
20.6　交叉驗證與重取樣方法　376
20.6.1　K-折交叉驗證　376
20.6.2　5×2 交叉驗證　377
20.6.3　自助法　377
20.7　測量分類器效能　378
20.8　區間估計　380
20.9　假設檢定　383
20.10　評估分類演算法效能　384
20.10.1　二項檢定　384
20.10.2　近似常態檢定　385
20.10.3　t 檢定　385
20.11　兩種分類演算法的比較　386
20.11.1　配對卡方檢定　386
20.11.2　K-折交叉驗證配對 t 檢定　386
20.11.3　5×2 交叉驗證配對 t 檢定　387
20.11.4　5×2 交叉驗證配對 F 檢定　387
20.12　多種演算法的比較：變異數分析　388
20.13　多資料集的比較　391
20.13.1　比較兩種演算法　391
20.13.2　比較多種演算法　392
20.14　多變量檢定　393
20.14.1　比較兩種演算法　393
20.14.2　比較多種演算法　394
20.15　註釋　395
20.16　練習　396
20.17　參考文獻　397

附錄 A　機率　398
附錄 B　線性代數　406
附錄 C　最佳化　412