機器學習方法與實踐

李清勇，博士，教授，博士生導師，北京市青年教學名師、北京市青年崗位能手、詹天佑未來技術學院副院長，北京交通大學計算機與信息技術學院副院長。 專註於人工智能領域的理論和應用研究，主要研究方向包括計算機視覺、數據挖掘、智能交通和遙感影像分析等。致力於IT拔尖人才培養，擔任全國高等學校計算機教育研究會理事。多年擔任ACM國際大學生程序設計競賽北京交通大學代表隊主教練/共同教練，曾5次晉級全球總決賽並獲排名獎狀。主持國家級線上一流本科課程（“算法設計與問題求解”），曾獲國家教學成果獎二等獎，北京市教學成果獎一等獎和二等獎等獎勵。

第 1章 緒論 1

1.1　引言　1

1.2　基本概念　2

1.3　概率基礎　4

1.3.1　概率定義　4

1.3.2　重要概念　5

1.3.3　隨機變量與概率分布　6

1.3.4　貝葉斯定理　8

1.3.5　隨機變量的數字特征　9

1.3.6　常見概率分布　11

1.4　發展歷程　13

1.5　本章小結　15

1.6　習題　15

第　2章 學習模式　17

2.1　學習模式的類型　17

2.1.1　判別式學習　17

2.1.2　生成式學習　18

2.2　判別式學習基礎　18

2.2.1　線性模型與非線性模型　19

2.2.2　經驗風險最小化　19

2.2.3　結構風險最小化　20

2.3　生成式學習基礎　21

2.3.1　貝葉斯推斷　21

2.3.2　最大似然估計　22

2.3.3　馬爾科夫鏈蒙特卡洛方法　24

2.3.4　變分推斷　25

2.4　模型的評估與選擇　27

2.4.1　偏差與方差　27

2.4.2　泛化能力　28

2.4.3　VC維　29

2.4.4　正則化與交叉驗證　29

2.5　本章小結　31

2.6　習題　31

第3章　判別式模型　32

3.1　線性模型　32

3.1.1　線性回歸　32

3.1.2　線性判別分析　33

3.1.3　感知機　34

3.1.4　Logistic 回歸　35

3.2　決策樹　36

3.2.1　基本學習流程　36

3.2.2　特征選擇　37

3.2.3　決策樹的生成　38

3.3　神經網絡　40

3.3.1　神經元模型與多層網絡　40

3.3.2　誤差反向傳播算法　41

3.3.3　常見神經網絡　42

3.4　K近鄰　45

3.4.1　K近鄰算法　45

3.4.2　K近鄰模型　45

3.4.3　K近鄰實現　47

3.5　支持向量機　48

3.5.1　基本概念　48

3.5.2　支持向量機模型　50

3.5.3　支持向量機實現　54

3.6　Boosting　56

3.6.1　AdaBoost算法　56

3.6.2　提升樹算法　59

3.6.3　梯度提升算法　61

3.7　條件隨機場　62

3.7.1　基本概念　62

3.7.2　條件隨機場模型　63

3.7.3　學習和推斷算法　65

3.8　判別式聚類　68

3.8.1　K-均值聚類　69

3.8.2　譜聚類　71

3.8.3　層次聚類　72

3.9　本章小結　76

3.10　習題　76

第4章　生成式模型　77

4.1　樸素貝葉斯　77

4.1.1　基本方法　77

4.1.2　後驗概率最大化準則　78

4.1.3　極大似然估計和貝葉斯估計　79

4.2　貝葉斯網絡　81

4.2.1　條件獨立性　81

4.2.2　貝葉斯球算法　82

4.3　貝葉斯神經網絡　83

4.3.1　貝葉斯線性回歸　83

4.3.2　貝葉斯神經網絡　84

4.3.3　高斯過程　85

4.4　隱馬爾可夫模型　87

4.4.1　基本概念　87

4.4.2　概率計算算法　88

4.4.3　學習算法　91

4.4.4　預測算法　94

4.5　馬爾可夫隨機場　96

4.5.1　基本概率　96

4.5.2　馬爾可夫關鍵性質　97

4.5.3　參數估計與推斷　99

4.6　隱狄利克雷分配　103

4.6.1　基本概念　103

4.6.2　模型描述　105

4.6.3　模型實現　106

4.7　生成式聚類　110

4.7.1　高斯混合模型　110

4.7.2　密度聚類　113

4.7.3　隨機塊模型　115

4.8　本章小結　118

4.9　習題　118

第5章　高級機器學習概述　120

5.1　機器學習演變　120

5.2　特征表示學習　122

5.2.1　圖像數據表示學習　124

5.2.2　文本數據表示學習　125

5.2.3　圖數據表示學習　125

5.3　新型學習機制　126

5.3.1　自監督學習　126

5.3.2　遷移學習　126

5.3.3　強化學習　128

5.3.4　大語言模型　129

5.4　本章小結　130

5.5　習題　131

第6章　特征表示學習　132

6.1　圖像數據表示學習　132

6.1.1　數據形式與任務　132

6.1.2　卷積神經網絡基礎架構　133

6.1.3　經典模型　139

6.2　文本數據表示學習　148

6.2.1　數據形式與任務　148

6.2.2　循環神經網絡架構　149

6.2.3　經典模型　152

6.3　圖數據表示學習　162

6.3.1　數據形式與任務　162

6.3.2　圖神經網絡基礎架構　163

6.3.3　經典模型　169

6.4　小結　179

6.5　習題　179

第7章　新型學習機制　180

7.1　自監督學習　180

7.1.1　自監督學習目的　181

7.1.2　生成式自監督學習　183

7.1.3　對比式自監督學習　191

7.1.4　對抗式自監督學習　197

7.2　遷移學習　201

7.2.1　實例加權策略　201

7.2.2　特征變換策略　204

7.2.3　參數控制策略　205

7.3　強化學習　207

7.3.1　強化學習問題　207

7.3.2　基於值函數的學習方法　213

7.3.3　基於策略函數的學習方法　220

7.3.4　演員-評論員算法　222

7.5　大語言模型學習　225

7.5.1　擴展定律和湧現　225

7.5.2　大語言模型的架構　227

7.5.3　預訓練　227

7.5.4　微調　231

7.5.5　提示學習　233

7.5.6　大語言模型的缺陷　234

7.6　本章小結　237

7.7　習題　237

第8章　機器學習編程框架　239

8.1　機器學習實施流程　239

8.1.1　目標分析　239

8.1.2　數據處理　240

8.1.3　特征工程　243

8.1.4　模型訓練　246

8.1.5　模型評估　248

8.2　機器學習編程框架　253

8.2.1　Scikit-learn　253

8.2.2　PyTorch　255

8.2.3　TensorFlow　256

8.2.4　PaddlePaddle　259

8.2.5　MindSpore　260

8.3　本章小結　261

8.4　習題　262

第9章　人臉識別　264

9.1　背景　264

9.1.1　人臉識別簡介　264

9.1.2　人臉識別發展歷程　265

9.1.2　人臉識別一般方法　266

9.1.3　人臉識別通用流程　267

9.1.4　人臉識別數據集　270

9.2　人臉檢測　276

9.2.1　Dlib庫簡介　276

9.2.2　OpenCV簡介　277

9.2.3　人臉檢測實驗　278

9.3　人臉識別　280

9.3.1　基於傳統機器學習的人臉識別　280

9.3.2　基於深度學習的人臉識別　286

9.4　本章小結　292

9.5　習題　292

第　10章 災害性天氣預報　294

10.1　背景　294

10.1.1災害性天氣預報簡介　294

10.1.2災害性天氣預報基本流程　296

10.1.3經典預報模型簡介　297

10.1.4災害性天氣預報數據集　300

10.2　災害性天氣預報模型構建　304

10.2.1　設計原理與模型結構　304

10.2.2　基於PyTorch框架的代碼實現　306

10.3　預報模型訓練與評估　310

10.3.1　數據介紹與處理　311

10.3.2　模型訓練　312

10.3.3　模型評估　315

10.4　本章小結　318

10.5　習題　319

參考文獻　320