精通機器學習算法 Mastering Machine Learning Algorithms, 2/e

Giuseppe Bonaccorso 
是位經驗豐富的數據科學管理者，在機器學習、深度學習方面具備深厚的專業知識。
2005 年獲得意大利卡塔尼亞大學電子工程專業碩士學位後，
Giuseppe 繼續在意大利羅馬第二大學和英國埃塞克斯大學從事MBA 研究工作。
Giuseppe 的主要研究興趣包括機器學習、深度學習、數據科學策略和醫療健康產業的數字化創新。

目錄
前言
第1 章機器學習模型基礎1
1.1 模型和數據1
1.2 機器學習模型的特性21
1.2.1 可學習性21
1.2.2 模型能力22
1.2.3 估計器的偏差25
1.2.4 估計器的方差28
1.3 本章小結32
擴展閱讀32
第2 章損失函數和正則化33
2.1 損失函數和代價函數的定義33
2.2 正則化39
2.3 本章小結46
擴展閱讀46
第3 章半監督學習導論47
3.1 半監督學習場景47
3.1.1 因果場景48
3.1.2 直推學習49
3.1.3 歸納學習50
3.1.4 半監督假設50
3.2 生成式高斯混合54
3.2.1 生成式高斯混合理論54
3.2.2 生成式高斯混合模型實例56
3.2.3 生成式高斯混合小結62
3.3 自訓練算法64
3.3.1 自訓練理論64
3.3.2 鳶尾屬植物數據集的自訓練實例66
3.3.3 自訓練小結69
3.4 協同訓練算法70
3.4.1 協同訓練理論70
3.4.2 葡萄酒數據集的協同訓練實例71
3.4.3 協同訓練小結76
3.5 本章小結76
擴展閱讀· 76
第4 章高級半監督分類· 78
4.1 對比悲觀似然估計78
4.1.1 對比悲觀似然估計理論79
4.1.2 對比悲觀似然估計實例80
4.1.3 對比悲觀似然估計小結84
4.2 半監督支持向量機（S3VM） · 84
4.2.1 S3VM 理論84
4.2.2 S3VM 實例87
4.2.3 S3VM 小結93
4.3 直推支持向量機（TSVM） · 93
4.3.1 TSVM 理論94
4.3.2 TSVM 實例94
4.3.3 TSVM 小結·102
4.4 本章小結103
擴展閱讀103
第5 章基於圖的半監督學習105
5.1 標籤傳播算法105
5.1.1 標籤傳播算法實例·108
5.1.2 scikit-learn 的標籤傳播算法112
5.2 標籤擴散算法114
5.2.1 標籤擴散算法實例· 116
5.2.2 拉普拉斯矩陣正則化提昇平滑度· 117
5.3 基於馬爾可夫隨機遊走的標籤傳播算法121
5.4 流形學習126
5.4.1 等距特徵映射流形學習算法·126
5.4.2 局部線性嵌入算法· 129
5.4.3 拉普拉斯譜嵌入算法· 131
5.4.4 t-SNE 133
5.5 本章小結137
擴展閱讀137
第6 章聚類和無監督學習模型139
6.1 k 最近鄰（KNN）算法139
6.1.1 k ? d 樹143
6.1.2 球樹· 143
6.1.3 KNN 模型的擬合144
6.1.4 scikit-learn 的KNN 實例145
6.2 k 均值147
6.2.1 k 均值方法· 150
6.2.2 scikit-learn 的k 均值算法實例151
6.3 評估指標154
6.3.1 一致性評分· 155
6.3.2 完整性評分· 155
6.3.3 調整蘭德指數（相似性） · 156
6.3.4 輪廓係數· 157
6.4 本章小結160
擴展閱讀161
第7 章高級聚類和無監督學習模型162
7.1 模糊c 均值162
7.2 譜聚類168
7.3 DBSCAN 174
7.3.1 scikit-learn 的DBSCAN 實例177
7.3.2 DBSCAN 結果的分析180
7.4 本章小結183
擴展閱讀184
第8 章面向營銷的聚類和無監督學習模型185
8.1 雙聚類185
8.2 利用Apriori 算法的購物籃分析190
8.3 本章小結195
擴展閱讀195
第9 章廣義線性模型和回歸197
9.1 廣義線性模型197
9.1.1 最小二乘估計·198
9.1.2 最小二乘估計的偏差和方差·201
9.1.3 Python 實現的線性回歸實例·201
9.1.4 利用Statsmodels 計算線性回歸的置信區間·204
9.1.5 利用胡貝爾損失（Huber loss）提高應對異值點的魯棒性·207
9.2 其他回歸方法209
9.2.1 嶺回歸·210
9.2.2 採用Lasso 回歸和邏輯回歸的風險建模214
9.2.3 多項式回歸·219
9.2.4 保序回歸·226
9.3 本章小結228
擴展閱讀229
第10 章時序分析導論· 230
10.1 時間序列· 230
10.2 時序的線性模型· 233
10.2.1 自相關234
10.2.2 AR、MA 和ARMA 過程·236
10.3 本章小結· 242
擴展閱讀243
第11 章貝葉斯網絡和隱馬爾可夫模型· 244
11.1 條件概率與貝葉斯定理· 244
11.2 貝葉斯網絡· 248
11.2.1 從貝葉斯網絡中採樣248
11.2.2 PyMC3 採樣257
11.2.3 PyStan 採樣264
11.3 隱馬爾可夫模型· 269
11.3.1 前向? 後向算法270
11.3.2 維特比算法276
11.4 本章小結· 280
擴展閱讀281
第12 章最大期望算法· 282
12.1 MLE 和MAP 學習282
12.2 最大期望算法284
12.2.1 凸函數與詹森不等式285
12.2.2 詹森不等式在最大期望算法中的應用287
12.2.3 參數估計示例288
12.3 高斯混合模型291
12.3.1 利用scikit-learn 的高斯混合示例293
12.3.2 利用AIC 和BIC 確定最佳的高斯分佈數量· 296
12.3.3 利用貝葉斯高斯混合的自動分佈選擇298
12.4 本章小結300
擴展閱讀300
第13 章成分分析和降維· 301
13.1 因子分析301
13.1.1 線性關係分析302
13.1.2 利用scikit-learn 的因子分析示例304
13.2 主成分分析308
13.2.1 成分重要性評價309
13.2.2 利用scikit-learn 的PCA 示例· 312
13.2.3 核PCA 313
13.2.4 稀疏PCA 316
13.3 獨立成分分析318
13.4 隱馬爾可夫模型的補充知識322
13.5 本章小結322
擴展閱讀323
第14 章赫布學習· 324
14.1 赫布法則324
14.1.1 協方差法則分析329
14.1.2 權重向量穩定化與奧佳法則332
14.2 桑格網絡333
14.3 魯布納? 塔萬網絡（Rubner-Tavan's network） · 339
14.4 自組織映射344
14.4.1 科霍寧映射346
14.4.2 自組織映射示例348
14.5 本章小結· 352
擴展閱讀352
第15 章集成學習基礎· 354
15.1 集成學習基礎· 354
15.2 隨機森林· 356
15.2.1 隨機森林基礎356
15.2.2 使用決策樹的原因358
15.2.3 隨機森林與偏差? 方差權衡359
15.2.4 scikit learn 的隨機森林示例·361
15.3 AdaBoost · 367
15.3.1 AdaBoost.SAMME 371
15.3.2 AdaBoost.SAMME.R 372
15.3.3 AdaBoost.R2 ·374
15.3.4 利用scikit learn 的AdaBoost 實例377
15.4 本章小結· 382
擴展閱讀382
第16 章高級提升算法· 383
16.1 梯度提升· 383
16.1.1 梯度提升的損失函數386
16.1.2 利用scikit-learn 的梯度樹提升示例387
16.1.3 利用XGBoost 的梯度提升示例390
16.2 投票分類器集成· 395
16.3 集成學習作為模型選擇· 399
16.4 本章小結· 400
擴展閱讀401
第17 章神經網絡建模· 402
17.1 基本的人工神經元· 402
17.2 感知機· 403
17.3 多層感知機· 409
17.4 反向傳播算法· 413
17.4.1 隨機梯度下降（SGD） 415
17.4.2 權重初始化417
17.4.3 利用TensorFlow 和Keras 的多層感知機示例419
17.5 本章小結423
擴展閱讀423
第18 章神經網絡優化· 425
18.1 優化算法425
18.1.1 梯度攝動427
18.1.2 動量（momentum）和涅斯捷羅夫動量（Nesterov momentum） 427
18.1.3 RMSProp 自適應算法429
18.1.4 Adam 算法430
18.1.5 AdaGrad 算法431
18.1.6 AdaDelta 算法432
18.2 正則化和暫棄434
18.2.1 正則化434
18.2.2 暫棄（dropout） 436
18.3 批量歸一化442
18.4 本章小結446
擴展閱讀446
第19 章深度捲積網絡· 448
19.1 深度捲積網絡448
19.2 捲積算子449
19.2.1 二維離散捲積451
19.2.2 空洞捲積455
19.2.3 可分離捲積456
19.2.4 轉置捲積457
19.3 池化層457
19.4 TensorFlow 和Keras 的深度捲積網絡算法示例461
19.5 本章小結471
擴展閱讀472
第20 章循環神經網絡· 473
20.1 循環網絡473
20.1.1 時間反向傳播474
20.1.2 BPTT 的局限475
20.2 長短期記憶476
20.2.1 門控循環單元（GRU） 480
20.2.2 利用TensorFlow 和Keras 的LSTM 示例482
20.3 遷移學習· 487
20.4 本章小結· 489
擴展閱讀489
第21 章自編碼器· 491
21.1 自編碼器· 491
21.2 去噪自編碼器· 500
21.3 稀疏自編碼器· 502
21.4 變分自編碼器· 507
21.5 本章小結· 514
擴展閱讀515
第22 章生成對抗網絡導論· 516
22.1 對抗訓練· 516
22.2 深度捲積生成對抗網絡· 519
22.2.1 利用TensorFlow 的DCGAN 示例519
22.2.2 模式崩潰526
22.3 瓦薩斯坦恩生成對抗網絡· 528
22.4 本章小結· 535
擴展閱讀536
第23 章深度置信網絡· 537
23.1 馬爾可夫隨機場簡介· 537
23.2 受限玻爾茲曼機· 539
23.3 深度置信網絡· 542
23.3.1 Python 實現的無監督深度置信網絡示例544
23.3.2 Python 實現的監督DBN 示例·546
23.4 本章小結· 549
擴展閱讀550
第24 章強化學習導論· 551
24.1 強化學習的基本概念· 551
24.1.1 馬爾可夫決策過程552
24.1.2 環境553
24.1.3 策略556
24.2 策略疊代557
24.3 值疊代565
24.4 TD(0)算法571
24.5 本章小結579
擴展閱讀580
第25 章高級策略估計算法· 581
25.1 TD(λ)算法581
25.1.1 更複雜棋盤環境的TD(λ)應用585
25.1.2 棋盤格環境中的玩家? 評委TD(0)示例· 593
25.2 SARSA 算法599
25.3 Q 學習605
25.3.1 棋盤環境中的Q 學習示例606
25.3.2 用神經網絡建立策略模型的Q 學習示例609
25.4 基於策略梯度的直接策略搜索620
25.5 本章小結627
擴展閱讀627
後記629