Python深度學習原理、算法與案例

目    錄

 

第1章  深度學習概述 1

1.1  人工智能 1

1.2  機器學習 2

1.2.1  機器學習定義 2

1.2.2  機器學習流派 3

1.2.3  機器學習簡史 6

1.2.4  機器學習流程 7

1.3  深度學習 9

1.4  深度學習的應用場景 10

1.4.1  技術類型 10

1.4.2  應用場景 11

1.5  本章小結 12

1.6  復習題 12

參考文獻 13

第2章  機器學習基礎 14

2.1  基本概念 14

2.2  機器學習的三要素 15

2.2.1  模型 16

2.2.2  學習準則 17

2.2.3  優化算法 21

2.3  數據分析 23

2.3.1  描述性統計分析 23

2.3.2  相關分析 23

2.3.3  回歸分析 25

2.3.4  分類分析 26

2.3.5  聚類分析 26

2.4  估計、偏差和方差 27

2.4.1  點估計 27

2.4.2  偏差 28

2.4.3  方差和標準差 30

2.5  最大似然估計 31

2.5.1  條件對數似然和均方誤差 32

2.5.2  最大似然的性質 33

2.6  特徵工程 34

2.6.1  數據預處理 34

2.6.2  特徵選擇 39

2.6.3  降維 44

2.7  本章小結 46

2.8  復習題 47

參考文獻 47

第3章  神經網絡基礎 48

3.1  神經網絡概述 48

3.1.1  神經網絡簡史 48

3.1.2  神經網絡基礎理論 49

3.2  線性神經網絡 56

3.3  感知機 64

3.3.1  感知機模型 64

3.3.2  多層感知機 69

3.4  支持向量機 75

3.4.1  支持向量機的原理 75

3.4.2  線性支持向量機分類 81

3.4.3  非線性支持向量機分類 86

3.4.4  支持向量機回歸 93

3.5  本章小結 96

3.6  復習題 96

參考文獻 96

第4章  捲積神經網絡和循環神經網絡 98

4.1  捲積神經網絡 98

4.1.1  捲積 100

4.1.2  捲積神經網絡 102

4.1.3  幾種典型的捲積神經網絡 107

4.2  循環神經網絡 117

4.2.1  循環神經網絡的結構 118

4.2.2  循環神經網絡的數學基礎 119

4.2.3  循環神經網絡的計算能力 120

4.2.4  長短期記憶網絡 121

4.2.5  門控循環單元 125

4.2.6  雙向循環神經網絡 130

4.2.7  深度循環神經網絡 132

4.2.8  循環神經網絡圖結構 133

4.3  本章小結 135

4.4  復習題 136

參考文獻 136

第5章  正則化與深度學習優化 137

5.1  正則化 137

5.1.1  訓練誤差和泛化誤差 137

5.1.2  數據集增強 138

5.1.3  提前終止 138

5.1.4  Dropout 139

5.2  網絡優化 142

5.3  優化算法 143

5.3.1  小批量梯度下降 143

5.3.2  批量大小選擇 144

5.3.3  學習率調整 144

5.4  深度學習中的正則化 154

5.4.1  L1和L2正則化 155

5.4.2  權重衰減 156

5.4.3  提前終止 156

5.4.4  Dropout 160

5.4.5  數據增強 165

5.4.6  對抗訓練 165

5.5  本章小結 169

5.6  復習題 170

參考文獻 170

第6章  深度學慣用於電腦視覺 171

6.1  電腦視覺與深度學習概述 171

6.1.1  電腦視覺的任務 172

6.1.2  傳統電腦視覺面臨的挑戰 175

6.1.3  深度學習在電腦視覺領域的研究發展 177

6.1.4  深度學習在電腦視覺領域的應用 178

6.2  電腦視覺應用基礎 182

6.2.1  圖像數據的基本操作 182

6.2.2  常用的捲積神經網絡的搭建 186

6.3  應用案例：基於LeNet-5的手寫數字識別 196

6.3.1  MNIST數據集簡介 196

6.3.2  加載和預處理數據 197

6.3.3  創建LeNet-5模型 198

6.3.4  編譯和訓練模型 200

6.3.5  使用模型進行預測 202

6.3.6  主流程及完整代碼 206

6.4  本章小結 206

6.5  復習題 206

參考文獻 207

第7章  深度學慣用於目標檢測 208

7.1  目標檢測的概念 208

7.2  Faster R-CNN 209

7.3  YOLO 214

7.4  SSD 218

7.5  應用案例：基於YOLO的目標檢測 220

7.5.1  基於Darknet的YOLO實現目標檢測 220

7.5.2  基於Keras-YOLO實現目標檢測 222

7.6  本章小結 229

7.7  復習題 229

參考文獻 229

第8章  深度學慣用於文本分析 230

8.1  自然語言處理與文本分析 230

8.1.1  文本分析的常見任務 230

8.1.2  自然語言處理技術簡介 232

8.2  應用案例：基於Encoder-Decoder模型的機器翻譯 239

8.2.1  Encoder-Decoder模型介紹 239

8.2.2  訓練數據準備 240

8.2.3  數據預處理 241

8.2.4  模型創建 243

8.2.5  模型訓練 245

8.2.6  模型預測 246

8.2.7  主流程代碼 247

8.3  本章小結 248

8.4  復習題 248

參考文獻 249

第9章  深度強化學習的應用 250

9.1  什麼是深度強化學習 250

9.2  強化學習的應用實例 251

9.3  強化學習的基本概念 252

9.4  強化學習的算法簡介 254

9.4.1  算法分類 254

9.4.2  問題求解步驟 255

9.4.3  Q-Learning 256

9.4.4  DQN 256

9.5  應用案例：使用DQN算法學習玩CartPole遊戲 257

9.5.1  CartPole遊戲介紹 257

9.5.2  OpenAI Gym介紹 258

9.5.3  基於DQN的智能體實現 258

9.5.4  智能體強化訓練 260

9.5.5  訓練結果 262

9.6  本章小結 263

9.7  復習題 263

參考文獻 263

第10章  TensorFlow模型的應用 264

10.1  TensorFlow簡介 264

10.2  TensorFlow入門 265

10.2.1  TensorFlow的靜態圖模式 265

10.2.2  TensorFlow的Graph和Session 274

10.2.3  TensorFlow的動態圖模式 277

10.2.4  TensorFlow的損失函數 279

10.2.5  TensorFlow的優化器 281

10.2.6  TensorFlow訓練數據輸入 284

10.3  應用案例：基於LeNet的手寫數字識別 287

10.3.1  MNIST 數據集簡介 287

10.3.2  LeNet的實現與講解 288

10.3.3  FashionMNIST數據集 296

10.4  應用案例：圖像多標簽分類實例 297

10.4.1  使用TFRecord生成訓練數據 297

10.4.2  構建多標簽分類網絡 298

10.4.3  多標簽訓練模型 300

10.5  本章小結 301

10.6  復習題 301

參考文獻 302

第11章  Transformer模型的應用 303

11.1  模型 303

11.2  基於位置的前饋網絡 304

11.3  殘差連接和層歸一化 305

11.4  編碼器 306

11.5  解碼器 307

11.6  應用案例：英語-法語機器翻譯實例 310

11.7  本章小結 313

11.8  復習題 313

參考文獻 313

 

附錄A  線性代數 314

A.1  標量、向量、矩陣和張量 314

A.2  向量空間 316

A.3  範數 317

A.4  矩陣 318

A.4.1  線性映射 318

A.4.2  矩陣操作 319

A.4.3  矩陣類型 321

A.4.4  矩陣分解 322

附錄B  概率論 323

B.1  概率論 323

B.2  事件和概率 323

B.2.1  隨機變量 324

B.2.2  離散隨機變量 324

B.2.3  連續隨機變量 325

B.2.4  累積分佈函數 326

B.2.5  隨機向量 326

B.2.6  連續隨機向量 327

B.2.7  邊際分佈 327

B.2.8  條件概率分佈 328

B.2.9  貝葉斯定理 328

B.2.10  獨立與條件獨立 329

B.2.11  期望和方差 329

B.3  隨機過程 330

B.3.1  馬爾可夫過程 330

B.3.2  馬爾可夫鏈 331

B.3.3  高斯過程 331

附錄C  信息論 333

C.1  熵 333

C.1.1  自信息和熵 333

C.1.2  熵編碼 334

C.1.3  聯合熵和條件熵 334

C.2  互信息 334

C.3  交叉熵和散度 335

C.3.1  交叉熵 335

C.3.2  KL散度 335

C.3.3  JS散度 335

C.3.4  Wasserstein距離 336