機器學習：工業大數據分析

李彥夫，清華大學工業工程系教授，清華大學質量與可靠性研究院副院長。2011-2016年任教於法國巴黎中央理工-高等電力學院。長期致力於系統可靠性、機器學習應用研究，並將其應用於高鐵、電信等領域，取得系列原創成果。代表性論文發表在《IEEE Transactions》、《ACM Transactions》等期刊。H-index 24，Elsevier 2019年中國高被引學者。主持國家自科基金重點項目、國家重點研發計劃課題等項目。承擔華為、商飛、阿爾斯通等企業委托項目，多項成果得到應用獲得明顯經濟效益。

 

目   錄

第1章  數學基礎  1

1.1  線性代數  1

1.1.1  標量、向量、矩陣和張量  1

1.1.2  線性相關和生成子空間  3

1.1.3  矩陣的特徵分解  3

1.1.4  矩陣的奇異值分解  5

1.1.5  範數  6

1.2  概率論和信息論簡介  6

1.2.1  概率論  6

1.2.2  信息論  9

1.3  優化算法  13

1.3.1  梯度  13

1.3.2  梯度下降  15

1.3.3  約束優化  17

1.4  信號分析基礎  19

1.4.1  信號分析的相關概念  19

1.4.2  信號的分解  23

1.4.3  傅裏葉變換  25

1.4.4  小波變換  27

習題  28

第2章  經典機器學習  31

2.1  監督學習  31

2.1.1  線性回歸模型  33

2.1.2  邏輯回歸算法  38

2.1.3  k近鄰法  42

2.1.4  樸素貝葉斯法  43

2.1.5  支持向量機  47

2.1.6  決策樹  54

2.2  無監督學習  59

2.2.1  降維  59

2.2.2  聚類  65

習題  72

第3章  深度學習  74

3.1  人工神經網絡  74

3.1.1  神經元基礎  74

3.1.2  激活函數類型  75

3.1.3  神經網絡基礎  76

3.1.4  神經網絡權值更新  78

3.1.5  其他梯度下降法  82

3.1.6  案例： 神經網絡識別數字  84

3.2  捲積神經網絡  84

3.2.1  捲積操作  85

3.2.2  捲積層相關概念  86

3.2.3  池化操作  90

3.2.4  平鋪及全連接操作  91

3.2.5  捲積神經網絡反向傳播公式  92

3.2.6  案例：捲積神經網絡識別數字  96

3.3  循環神經網絡  97

3.3.1  循環神經網絡基礎  97

3.3.2  循環神經網絡傳播公式  99

3.3.3  LSTM網絡  102

3.3.4  門控循環單元和雙向LSTM  104

3.3.5  深度循環神經網絡  106

3.3.6  案例：循環神經網絡文本預測  106

3.4  生成對抗神經網絡  107

3.4.1  對抗神經網絡基礎  107

3.4.2  對抗神經網絡實際操作  110

3.4.3  生成對抗神經網絡變體  112

3.4.4  案例：對抗神經網絡生成樣本  112

3.5  神經網絡前沿延伸閱讀  114

習題  117

第4章  強化學習  121

4.1  任務與獎勵  121

4.2  馬爾可夫決策過程  122

4.3  最優策略  128

4.4  免模型學習  129

4.4.1  預備知識：蒙特卡羅方法  129

4.4.2  基於價值的方法  130

4.4.3  基於策略的方法  133

4.5  蒙特卡羅樹搜索  135

4.5.1  背景  136

4.5.2  啟發式搜索  138

4.5.3  預演算法  139

4.5.4  MCTS算法  140

4.5.5  MCTS示例  143

4.6  深度強化學習  147

4.6.1  深度Q網絡  147

4.6.2  近端策略優化  149

4.6.3  延伸閱讀：AlphaGo  151

4.6.4  案例：基於深度Q網絡的智能小車平衡  153

習題  156

第5章  數據處理相關知識  158

5.1  工業大數據  158

5.1.1  工業大數據背景  158

5.1.2  工業大數據平臺  159

5.1.3  工業大數據分析建模方法體系  161

5.1.4  工業大數據平臺架構  164

5.1.5  工業大數據分析建模計算框架  166

5.2  數據處理  168

5.2.1  數據清洗  168

5.2.2  數據變換  170

5.2.3  數據降維  172

5.2.4  非平衡數據集的處理  173

5.3  環境配置及代碼編程  175

5.3.1  Anaconda平臺介紹及環境配置  175

5.3.2  Keras搭建神經網絡序貫模型  177

第6章  生產系統相關案例  179

6.1  旋轉機械關鍵部件故障診斷  179

6.1.1  背景介紹  179

6.1.2  案例研究  179

6.1.3  數據預處理  181

6.1.4  齒輪箱振動信號特徵參數提取  182

6.1.5  SVM故障分類模型構建  183

6.1.6  結果分析  185

6.1.7  總結  185

6.2  刀具磨損狀態評估  185

6.2.1  背景介紹  185

6.2.2  案例研究  186

6.2.3  磨損狀態評估模型構建  188

6.2.4  評價指標構建  190

6.2.5  結果分析  191

6.2.6  總結  192

第7章  能源、電信系統相關案例  193

7.1  風力發電機葉片開裂故障診斷  193

7.1.1  背景介紹  193

7.1.2  問題描述  193

7.1.3  數據預處理  194

7.1.4  評價指標  195

7.1.5  故障診斷方法  196

7.1.6  結果分析  197

7.1.7  總結  198

7.2  基於深度強化學習的核電站維修決策  198

7.2.1  背景介紹  198

7.2.2  問題描述  199

7.2.3  模擬環境搭建  200

7.2.4  評價指標  201

7.2.5  PPO算法  202

7.2.6  結果分析  204

7.2.7  總結  204

7.3  5G通信數據下行傳輸速率預測  205

7.3.1  問題背景  205

7.3.2  數據介紹  205

7.3.3  數據預處理  205

7.3.4  模型構建  206

7.3.5  結果分析  207

7.3.6  總結  207

第8章  交通系統相關案例  208

8.1  高速列車車輪健康狀態監測  208

8.1.1  背景介紹  208

8.1.2  數據預處理  208

8.1.3  監測方法  211

8.1.4  結果分析  212

8.1.5  總結  213

8.2  航天裝備的結構振動預測  213

8.2.1  背景介紹  213

8.2.2  問題描述  214

8.2.3  數據預處理  214

8.2.4  評價指標  216

8.2.5  振動預測方法  217

8.2.6  結果分析  219

8.2.7  總結  219

8.3  城市公共交通系統的客流預測  221

8.3.1  背景介紹  221

8.3.2  數據描述  222

8.3.3  數據預處理  222

8.3.4  評價指標  224

8.3.5  模型構建  224

8.3.6  結果分析  226

8.3.7  總結  227

第9章  醫療系統相關案例  228

9.1  糖尿病患者的血糖預測  228

9.1.1  背景介紹  228

9.1.2  問題描述  228

9.1.3  數據預處理  230

9.1.4  評價指標  232

9.1.5  血糖預測方法  232

9.1.6  結果分析  234

9.1.7  總結  236

9.2  國內各省份新冠疫情聚類分析  237

9.2.1  背景介紹  237

9.2.2  問題描述  237

9.2.3  數據預處理  238

9.2.4  評價指標  239

9.2.5  多階段分級聚類框架  239

9.2.6  結果分析  241

9.2.7  總結  243

9.3  某種蛋白質電泳圖像的分類  244

9.3.1  背景介紹  244

9.3.2  問題描述  244

9.3.3  數據預處理  245

9.3.4  評價指標  245

9.3.5  模型構建  246

9.3.6  結果分析  247

9.3.7  總結  249

附錄  數學符號列表  250

參考文獻  252