機器學習方法與應用

俞揚，南京大學。主要研究領域為人工智能、機器學習、強化學習、演化學習。共同出版專著《Evolutionary Learning: Advances in Theories and Algorithms》（2019）及其中文版《演化學習：理論與算法進展》（2021）。研究工作在 Artificial Intelligence、TPAMI、TKDE、TNNLS、NeurIPS、ICML、IJCAI、AAAI、KDD 等人工智能、機器學習和數據挖掘國際**期刊和會議發表論文 100 余篇，曾受邀在 IJCAI'18 Early Career Spotlight 演講。研究成果獲得 DAI'23 Best Paper、IDEAL'16 Best Paper、KDD'12 Best Poster、GECCO'11 Best Theory Paper、PAKDD'08 Best Paper 等論文獎項，以及 ICAPS'21 L2RPN with Trust 冠軍、OpenAI Retro Contest 2018 冠軍、PAKDD’06 數據挖掘競賽冠軍等競賽獎項。榮譽包括入選 2018 年國家“萬人計劃”青年拔尖人才、2020 年 CCF-IEEE 青年科學家、2018 年 IEEE Intelligent Systems 雜誌評選的 AI's 10 to Watch，獲得 2018 PAKDD Early Career Award 和 2017 年江蘇省計算機學會青年科技獎等。

目錄

 

 

第1 章機器學習基礎1

1.1 機器學習簡介1

1.1.1 人工智能與機器學習的發展歷程1

1.1.2 機器學習的定義與基本概念3

1.1.3 機器學習的分類4

1.1.4 機器學習的典型應用6

1.2 機器學習的數學基礎7

1.2.1 數學分析基礎7

1.2.2 線性代數基礎9

1.2.3 概率論基礎10

1.2.4 統計學基礎12

1.3 機器學習中的優化方法14

1.3.1 優化問題的基本形式14

1.3.2 凸優化理論基礎16

1.3.3 梯度下降法17

1.3.4 牛頓法和擬牛頓法19

1.3.5 約束優化的方法20

1.4 機器學習的泛化理論21

1.4.1 偏差-方差分解22

1.4.2 泛化誤差與經驗誤差23

1.4.3 PAC 泛化誤差上界25

1.4.4 穩定性泛化誤差上界26

1.5 模型選擇與驗證27

1.6 沒有免費的午餐定理28

1.7 相關教材30

1.8 本章小結31

第1 章練習31

 

第2 章非參數化模型33

2.1 貝葉斯分類模型33

2.1.1 貝葉斯決策論33

2.1.2 樸素貝葉斯分類器36

2.1.3 半樸素貝葉斯方法43

2.2 k 近鄰模型46

2.2.1 k 近鄰算法原理46

2.2.2 基於k 近鄰的協同過濾54

2.3 決策樹模型59

2.3.1 決策樹原理59

2.3.2 決策樹算法65

2.3.3 決策樹的優缺點66

2.4 本章小結67

第2 章練習67

第3 章線性模型69

3.1 線性回歸69

3.1.1 一元線性回歸70

3.1.2 多元線性回歸72

3.2 對數幾率回歸75

3.2.1 對率函數與分布76

3.2.2 極大似然估計模型參數77

3.3 線性判別分析79

3.3.1 LDA 的基本思想79

3.3.2 Fisher 判別分析80

3.3.3 多分類LDA 81

3.3.4 LDA 與對數幾率回歸的聯系81

3.4 支持向量機85

3.4.1 線性支持向量機85

3.4.2 非線性支持向量機89

3.4.3 線性模型拓展：從二分類到多分類93

3.5 本章小結93

第3 章練習94

 

第4 章聚類方法97

4.1 聚類方法概述97

4.1.1 聚類的定義97

4.1.2 聚類的基本步驟98

4.1.3 聚類算法的分類99

4.2 k 均值聚類99

4.2.1 k 均值聚類的基本原理99

4.2.2 k 均值聚類的算法步驟100

4.2.3 聚類中心初始化方法100

4.2.4 簇數k 的確定方法101

4.2.5 k 均值聚類的優缺點103

4.2.6 二分k 均值聚類103

4.3 層次聚類106

4.3.1 層次聚類的基本概念106

4.3.2 凝聚聚類106

4.3.3 分裂聚類108

4.3.4 層次聚類的優缺點109

4.4 密度聚類109

4.4.1 密度聚類的基本概念110

4.4.2 DBSCAN 算法110

4.4.3 密度聚類的優缺點113

4.5 譜聚類113

4.5.1 圖的基本概念114

4.5.2 圖割與聚類的關系114

4.5.3 拉普拉斯矩陣115

4.5.4 譜聚類算法步驟116

4.5.5 譜聚類的優缺點116

4.6 聚類算法的評估117

4.6.1 外部指標117

4.6.2 內部指標118

4.6.3 相對指標119

4.7 本章小結119

第4 章練習120

 

第5 章降維方法121

5.1 數據降維的基本概念121

5.2 特征選擇122

5.2.1 過濾式方法122

5.2.2 包裹式方法126

5.2.3 嵌入式方法128

5.3 線性降維方法131

5.3.1 主成分分析131

5.3.2 線性判別分析132

5.4 非線性降維方法134

5.4.1 核主成分分析134

5.4.2 等距度量135

5.4.3 局部線性嵌入137

5.4.4 t-SNE 139

5.5 本章小結141

第5 章練習142

第6 章EM 算法與隱變量模型143

6.1 EM 算法原理143

6.1.1 EM 算法的引入143

6.1.2 EM 算法的推導143

6.1.3 EM 算法的流程144

6.1.4 EM 算法的收斂性145

6.1.5 EM 算法的變種145

6.2 缺失數據處理146

6.2.1 將缺失數據問題轉化為隱變量問題146

6.2.2 EM 算法估計缺失值147

6.2.3 應用實例：高斯分布下的數據缺失148

6.3 高斯混合模型150

6.3.1 高斯混合模型的定義150

6.3.2 高斯混合模型的EM 算法151

6.3.3 GMM 的進一步討論152

6.4 隱馬爾可夫模型153

6.4.1 隱馬爾可夫模型的定義153

 

6.4.2 HMM 的EM 算法154

6.4.3 前向-後向算法156

6.4.4 維特比算法156

6.4.5 HMM 的進一步討論157

6.5 受限玻爾茲曼機158

6.5.1 受限玻爾茲曼機的定義158

6.5.2 RBM 的對比散度算法158

6.5.3 RBM 的延伸160

6.6 概率潛在語義分析161

6.6.1 PLSA 的生成過程161

6.6.2 EM 算法估計PLSA 參數162

6.6.3 PLSA 的推斷和應用163

6.7 本章小結164

第6 章練習164

第7 章集成學習165

7.1 集成學習概述165

7.1.1 集成學習的定義與動機165

7.1.2 集成學習的基本思想166

7.1.3 基學習器166

7.1.4 集成學習的分類168

7.2 多樣性度量與增強168

7.2.1 誤差-分歧分解168

7.2.2 多樣性度量169

7.2.3 多樣性增強策略170

7.3 結合策略175

7.3.1 平均法175

7.3.2 投票法176

7.3.3 混合專家177

7.3.4 學習法178

7.4 序列化方法180

7.4.1 前向分步算法181

7.4.2 Boosting 182

7.4.3 AdaBoost 算法183

7.4.4 梯度提升決策樹185

 

7.5 並行化集成學習188

7.5.1 基本思想189

7.5.2 Bagging 189

7.5.3 隨機森林190

7.6 集成學習的應用191

7.6.1 分類問題中的應用192

7.6.2 回歸問題中的應用194

7.7 本章小結199

第7 章練習199

第8 章概率圖模型201

8.1 概率圖介紹201

8.2 有向圖模型202

8.2.1 有向圖的學習203

8.2.2 有向圖的推理206

8.3 無向圖模型209

8.4 條件獨立性210

8.5 概率圖推理212

8.5.1 精確推斷之變量消去法212

8.5.2 近似推斷之MCMC 采樣214

8.5.3 近似推斷之變分推斷218

8.5.4 因子圖221

8.5.5 Sum-Product 算法與置信傳播223

8.5.6 Max-Sum 算法227

8.6 典型概率圖模型230

8.6.1 馬爾可夫鏈230

8.6.2 隱馬爾可夫模型231

8.6.3 條件隨機場233

8.7 概率圖模型應用234

8.7.1 馬爾可夫模型在生態系統演變中的應用234

8.7.2 隱馬爾可夫模型在語言系列建模中的應用235

8.7.3 條件隨機場在自然語言處理中的應用236

8.8 本章小結237

第8 章練習238

 

第9 章人工神經網絡基礎239

9.1 神經網絡概述239

9.1.1 神經網絡的發展歷史239

9.1.2 神經網絡的應用領域242

9.2 神經元計算模型244

9.2.1 生物神經元245

9.2.2 人工神經元模型246

9.2.3 激活函數247

9.3 多層感知機249

9.3.1 多層感知機的結構249

9.3.2 前饋神經網絡250

9.3.3 多層感知機的訓練250

9.4 反向傳播算法251

9.4.1 反向傳播算法的基本原理251

9.4.2 反向傳播算法的推導252

9.4.3 反向傳播算法的實現253

9.4.4 梯度消失與梯度爆炸問題255

9.5 神經網絡中的正則化策略256

9.5.1 過擬合問題256

9.5.2 L1 正則化256

9.5.3 L2 正則化257

9.5.4 Dropout 257

9.5.5 早停法258

9.5.6 數據增強258

9.6 歸一化技術259

9.6.1 批量歸一化259

9.6.2 層歸一化260

9.6.3 實例歸一化260

9.7 優化算法261

9.7.1 梯度下降法261

9.7.2 動量法264

9.7.3 均方根傳遞算法266

9.7.4 自適應矩估計算法267

9.7.5 自適應梯度算法268

 

9.8 權重初始化方法269

9.8.1 權重初始化的重要性269

9.8.2 Xavier 初始化269

9.8.3 He 初始化270

9.9 其他類型的神經網絡271

9.9.1 霍普菲爾德神經網絡271

9.9.2 徑向基函數神經網絡272

9.9.3 自組織映射網絡273

9.10 本章小結275

第9 章練習276

第10 章神經網絡模型277

10.1 卷積神經網絡277

10.1.1 卷積與池化277

10.1.2 典型卷積神經網絡架構281

10.1.3 目標檢測288

10.1.4 語義分割292

10.2 循環神經網絡294

10.2.1 簡單循環神經網絡295

10.2.2 長短期記憶網絡296

10.2.3 門控循環單元298

10.2.4 雙向循環神經網絡300

10.2.5 深度循環神經網絡303

10.2.6 序列到序列模型304

10.3 註意力機制與Transformer 305

10.3.1 註意力機制306

10.3.2 Transformer 模型307

10.3.3 多頭註意力309

10.3.4 前饋神經網絡309

10.3.5 層歸一化310

10.3.6 Encoder 310

10.3.7 Decoder 310

10.3.8 預填充與自回歸推理311

10.3.9 局部註意力機制311

10.3.10 Transformer 的應用311

 

10.4 圖神經網絡312

10.4.1 圖結構數據312

10.4.2 圖神經網絡的基本概念313

10.4.3 圖卷積網絡314

10.4.4 圖註意力網絡315

10.4.5 圖神經網絡的應用317

10.5 本章小結318

第10 章練習318

第11 章生成式模型319

11.1 生成式模型介紹319

11.2 自回歸模型320

11.2.1 圖像到圖像轉換320

11.2.2 PixelRNN 模型321

11.3 自編碼器和變分自編碼器326

11.3.1 自編碼器326

11.3.2 變分自編碼器327

11.4 生成對抗網絡330

11.4.1 生成對抗網絡原理330

11.4.2 深度卷積生成對抗網絡331

11.4.3 條件生成對抗網絡333

11.5 流模型335

11.5.1 標準化流335

11.5.2 殘差流模型337

11.6 擴散模型339

11.6.1 擴散模型原理339

11.6.2 去噪擴散概率模型339

11.6.3 潛在擴散模型342

11.7 本章小結343

第11 章練習343

第12 章自監督學習345

12.1 自監督學習概述345

12.1.1 自監督學習的定義345

 

12.1.2 自監督學習的重要性346

12.1.3 自監督學習的應用349

12.2 對比學習349

12.2.1 概述349

12.2.2 對稱網絡方法350

12.2.3 非對稱網絡方法352

12.2.4 特征解耦方法353

12.3 掩碼自監督學習354

12.3.1 掩碼語言自監督學習355

12.3.2 視覺掩碼自監督學習359

12.4 其他類型的自監督學習361

12.4.1 面向多模態數據的自監督學習361

12.4.2 基於數據壓縮的自監督學習362

12.4.3 基於聚類的自監督學習362

12.5 本章小結362

第12 章練習363

第13 章強化學習基礎364

13.1 強化學習簡介364

13.2 多臂賭博機問題365

13.2.1 探索與利用的權衡366

13.2.2 ?-貪心算法367

13.2.3 上置信界算法368

13.2.4 吉布斯采樣算法370

13.2.5 湯普森采樣371

13.2.6 上下文賭博機372

13.3 馬爾可夫決策過程373

13.3.1 馬爾可夫過程373

13.3.2 馬爾可夫獎勵過程374

13.3.3 馬爾可夫決策過程的基本概念375

13.4 動態規劃377

13.4.1 策略疊代377

13.4.2 值疊代379

13.4.3 異步動態規劃381

13.4.4 廣義策略疊代382

 

13.5 本章小結384

第13 章練習384

第14 章強化學習算法387

14.1 從馬爾可夫決策過程到強化學習387

14.2 蒙特卡洛方法388

14.2.1 蒙特卡洛預測388

14.2.2 蒙特卡洛控制389

14.3 時序差分學習391

14.3.1 TD(0) 預測391

14.3.2 時序差分控制：Sarsa 算法393

14.3.3 Q 學習算法394

14.3.4 TD(λ) 算法395

14.4 值函數近似399

14.4.1 特征的設計399

14.4.2 線性值函數近似401

14.4.3 非線性值函數近似：神經網絡402

14.4.4 其他值函數近似方法403

14.5 策略梯度404

14.5.1 策略模型的參數化404

14.5.2 策略梯度定理405

14.6 本章小結410

第14 章練習411

第15 章深度強化學習412

15.1 深度值函數近似方法412

15.1.1 DQN 算法412

15.1.2 Double DQN 414

15.1.3 Dueling DQN 415

15.1.4 Rainbow 416

15.2 深度策略梯度方法418

15.2.1 策略梯度定理418

15.2.2 Actor-Critic 算法419

15.2.3 TRPO 和PPO 算法420

 

15.3 深度確定性策略梯度方法422

15.3.1 確定性策略梯度定理422

15.3.2 DDPG 算法423

15.3.3 TD3 算法424

15.4 軟性Actor-Critic 算法425

15.4.1 最大熵強化學習425

15.4.2 SAC 算法426

15.5 基於模型的深度強化學習算法428

15.5.1 基於模型強化學習的基本框架428

15.5.2 MBPO 429

15.5.3 PETS 430

15.5.4 MuZero 431

15.6 模仿學習432

15.6.1 行為克隆433

15.6.2 逆強化學習433

15.6.3 對抗模仿學習435

15.7 離線強化學習436

15.7.1 基於值函數的離線強化學習437

15.7.2 基於策略的離線強化學習438

15.7.3 基於模型的離線強化學習438

15.7.4 多任務批量強化學習439

15.7.5 離線-在線混合強化學習440

15.7.6 離線強化學習展望440

15.8 本章小結441

第15 章練習442

參考文獻443