深度學習——從算法本質、系統工程到產業實踐

本書源代碼 

第

1 

章神經網絡深入 ................................................................................................................... 

1 

1.1 打開深度學習之門 .......................................................................................................... 

1

1.2 從優化問題講起 .............................................................................................................. 

6

1.2.1 牛頓與開普勒的對話 .......................................................................................... 

6

1.2.2 擬合與分類的數學模型 ...................................................................................... 

6

1.2.3 通過訓練數據優化模型參數 .............................................................................. 

8

1.2.4 優化方法 ........................................................................................................... 13

1.3 深度神經網絡 ................................................................................................................ 16

1.3.1 誰來做特徵提取 ............................................................................................... 16 

1.3.2 人工神經元與激活函數 .................................................................................... 17 

1.3.3 神經網絡及其數學本質 .................................................................................... 21 

1.4 正則化方法 .................................................................................................................... 29

1.4.1 欠擬合與過擬合 ............................................................................................... 29 

1.4.2 正則化方法 ....................................................................................................... 31 

1.4.3 一些訓練技巧 ................................................................................................... 35 

1.5 模型評價 ........................................................................................................................ 36

1.5.1 評價指標的重要性............................................................................................ 36 

1.5.2 混淆矩陣 ........................................................................................................... 36 

1.5.3 典型評價指標 ................................................................................................... 38 

1.6 深度學習能力的邊界 .................................................................................................... 39

1.6.1 深度學習各領域的發展階段 ............................................................................ 39 

1.6.2 不適用現有深度學習技術的任務 .................................................................... 39 

1.6.3 深度學習的未來 ............................................................................................... 40 

本章習題 ............................................................................................................................... 41

第

2 

章捲積神經網絡——圖像分類與目標檢測 ..................................................................... 42 

2.1 捲積的基本概念 ............................................................................................................ 42

VIII

2.1.1 捲積的定義 ....................................................................................................... 42 

2.1.2 捲積的本質 ....................................................................................................... 43 

2.1.3 捲積的重要參數 ............................................................................................... 43 

2.1.4 池化層 ............................................................................................................... 45 

2.2 捲積神經網絡 ................................................................................................................ 46

2.2.1 典型的捲積神經網絡 ........................................................................................ 47 

2.2.2 LeNet ................................................................................................................. 50

2.2.3 AlexNet .............................................................................................................. 53 

2.2.4 VGGNet ............................................................................................................. 57 

2.2.5 ResNet ................................................................................................................ 63

2.2.6 能力對比 ........................................................................................................... 75 

2.3 目標檢測 ........................................................................................................................ 76

2.3.1 R-CNN ............................................................................................................... 76

2.3.2 Fast R-CNN ....................................................................................................... 78 

2.3.3 Faster R-CNN .................................................................................................... 79 

2.3.4 YOLO ................................................................................................................ 79

本章習題 ............................................................................................................................... 81

第

3 

章捲積神經網絡——語義分割 ......................................................................................... 82 

3.1 語義分割基礎 ................................................................................................................ 82

3.1.1 語義分割的應用領域 ........................................................................................ 82 

3.1.2 全捲積神經網絡 ............................................................................................... 83 

3.1.3 反捲積與空洞捲積............................................................................................ 83 

3.1.4 U-Net ................................................................................................................. 85

3.1.5 DeepLab v1 和v2 ............................................................................................. 90 

3.1.6 DeepLab v3 ....................................................................................................... 95 

3.1.7 兩種架構的融合——DeepLab v3+................................................................ 101 

3.2 模型可視化 .................................................................................................................. 108

3.2.1 捲積核可視化 ................................................................................................. 109 

3.2.2 特徵圖可視化 ................................................................................................. 109 

3.2.3 表徵向量可視化 ............................................................................................. 109 

3.2.4 遮蓋分析與顯著梯度分析 .............................................................................. 109 

3.3 病理影像分割初探 .......................................................................................................110

3.3.1 病理——醫學診斷的“金標準” ...................................................................110 

3.3.2 病理人工智能的挑戰 ....................................................................................... 111 

3.3.3 真實模型訓練流程...........................................................................................112 

IX

3.4 自監督學習 ...................................................................................................................117

3.4.1 方法概述 ..........................................................................................................117 

3.4.2 自監督學習算法介紹 .......................................................................................118 

3.5 模型訓練流程 .............................................................................................................. 123

3.5.1 成本函數 ......................................................................................................... 123 

3.5.2 自動調節學習速率.......................................................................................... 123 

3.5.3 模型保存與加載 ............................................................................................. 123 

本章習題 .............................................................................................................................. 124

第

4 

章高級循環神經網絡 ....................................................................................................... 125 

4.1 自然語言處理基礎 ...................................................................................................... 125

4.1.1 時間維度的重要性.......................................................................................... 125 

4.1.2 自然語言處理 ................................................................................................. 125 

4.1.3 詞袋法 ............................................................................................................. 126 

4.1.4 詞嵌入 ............................................................................................................. 127 

4.2 循環神經網絡 .............................................................................................................. 128

4.2.1 時序數據建模的模式 ...................................................................................... 128 

4.2.2 循環神經網絡基本結構 .................................................................................. 128 

4.2.3 LSTM ............................................................................................................... 131

4.2.4 GRU................................................................................................................. 134 

4.3 基於會話的欺詐檢測 .................................................................................................. 137

4.3.1 欺詐的模式 ..................................................................................................... 137 

4.3.2 技術挑戰 ......................................................................................................... 138 

4.3.3 數據預處理 ..................................................................................................... 138 

4.3.4 實踐循環神經網絡.......................................................................................... 140 

4.4 語音識別與語音評測 .................................................................................................. 148

4.4.1 特徵提取 ......................................................................................................... 148 

4.4.2 模型結構 ......................................................................................................... 149 

4.4.3 CTC 損失函數 ................................................................................................. 151 

本章習題 .............................................................................................................................. 152

第

5 

章分佈式深度學習系統 ................................................................................................... 153 

5.1 分佈式系統 .................................................................................................................. 153

5.1.1 挑戰與應對 ..................................................................................................... 153 

5.1.2 主從架構 ......................................................................................................... 154 

5.1.3 Hadoop 與Spark ............................................................................................. 154 

X 

5.2 分佈式深度學習系統 .................................................................................................. 157

5.2.1 CPU 與GPU .................................................................................................... 157 

5.2.2 分佈式深度學習 ............................................................................................. 160 

5.2.3 通信——對參數進行同步 .............................................................................. 164 

5.3 微服務架構 .................................................................................................................. 165

5.3.1 微服務的基本概念.......................................................................................... 166 

5.3.2 消息隊列 ......................................................................................................... 167 

5.4 分佈式推理系統 .......................................................................................................... 167

5.4.1 深度學習推理框架.......................................................................................... 167 

5.4.2 推理系統架構 ................................................................................................. 169 

本章習題 .............................................................................................................................. 171

第

6 

章深度學習前沿 ............................................................................................................... 173 

6.1 深度強化學習 .............................................................................................................. 173

6.1.1 強化學習概述 ................................................................................................. 173 

6.1.2 深度強化學習概述.......................................................................................... 174 

6.1.3 任天堂游戲的深度強化學習 .......................................................................... 175 

6.2 AlphaGo ....................................................................................................................... 176

6.2.1 為什麽圍棋這麽困難 ...................................................................................... 176 

6.2.2 AlphaGo 系統架構 .......................................................................................... 177 

6.2.3 AlphaGo Zero .................................................................................................. 181 

6.3 生成對抗網絡 .............................................................................................................. 182

6.3.1 生成對抗網絡概述.......................................................................................... 182 

6.3.2 典型的生成對抗網絡 ...................................................................................... 182 

6.4 未來在哪裡 .................................................................................................................. 207

本章習題 .............................................................................................................................. 210

第

7 

章專題講座 ........................................................................................................................211

7.1 DenseNet .......................................................................................................................211

7.2 Inception ...................................................................................................................... 216

7.3 Xception ....................................................................................................................... 230

7.4 ResNeXt ....................................................................................................................... 236

7.5 Transformer .................................................................................................................. 240

本章習題 .............................................................................................................................. 242

第

8 

章Transformer 

和它的朋友們 ........................................................................................ 243 

8.1 註意力模型 .................................................................................................................. 243

XI

8.1.1 看圖說話 ......................................................................................................... 243 

8.1.2 語言翻譯 ......................................................................................................... 245 

8.1.3 幾種不同的註意力機制 .................................................................................. 246 

8.2 Transformer .................................................................................................................. 250

8.2.1 自註意力機制和Transformer ......................................................................... 250 

8.2.2 Transformer 在視覺領域的應用 ..................................................................... 278 

本章習題 .............................................................................................................................. 293

第

9 

章核心實戰 ....................................................................................................................... 294 

9.1 圖像分類 ...................................................................................................................... 295

9.1.1 ImageNet 數據集概述 ..................................................................................... 295 

9.1.2 ImageNet 數據探索與預處理 ......................................................................... 295 

9.1.3 模型訓練 ......................................................................................................... 299 

9.1.4 模型測試 ......................................................................................................... 304 

9.1.5 模型評價 ......................................................................................................... 307 

9.1.6 貓狗大戰數據集 ............................................................................................. 309 

9.1.7 模型導出 ......................................................................................................... 310 

9.2 語義分割 .......................................................................................................................311

9.2.1 數字病理切片介紹...........................................................................................311

9.2.2 數字病理切片預處理 ...................................................................................... 314 

9.2.3 樣本均衡性處理 ............................................................................................. 317 

9.2.4 模型訓練 ......................................................................................................... 319 

9.2.5 模型測試 ......................................................................................................... 324 

9.2.6 模型導出 ......................................................................................................... 331 

本章習題 .............................................................................................................................. 332

第10 

章深度學習推理系統 ..................................................................................................... 333 

10.1 整體架構 .................................................................................................................... 333

10.2 調度器模塊 ................................................................................................................ 334

10.3 工作節點模塊 ............................................................................................................ 340

10.4 日誌模塊 .................................................................................................................... 347

本章習題 .............................................................................................................................. 349

參考文獻 ..................................................................................................................................... 350 

擴展資源二維碼........................................................................................................................... 351