深度學習與飛槳PaddlePaddle Fluid實戰

於祥
百度PaddlePaddle技術運營。2015年開始研究神經網絡技術，早期從事基於深度學習的身份認證技術研發，曾負責上海智慧城市項目和華潤集團項目的算法支持，曾獲得ACM-ICPC與CCCC-GPLT銀獎。

第1章飛槳PaddlePaddle簡介與AI Studio的使用1
1．1飛槳PaddlePaddle簡介1
1．2飛槳PaddlePaddle的工具組件2
1．2．1 PaddleHub—簡明易用的預訓練模型管理框架2
1． 2．2 PARL—基於飛槳PaddlePaddle的深度強化學習框架3
1．2．3 AutoDL Design—讓深度學習來設計深度學習4
1．2．4 VisualDL—深度學習可視化工具庫5
1．2．5模型轉換工具X2Paddle 5
1．3飛槳PaddlePaddle在百度內部支持的案例6
1．4飛槳PaddlePaddle與TensorFlow的對比7
1．5 AI Studio簡介8
1．6在AI Studio中創建項目9
1．6．1用戶界面簡介9
1．6．2創建並運行一個項目10
1．7 AI Studio單機項目概述11
1．7．1頁面概覽11
1．7．2複製項目12
1．7．3 VisualDL工具的使用13
1．8 Notebook環境使用說明14
1．8．1 Notebook頁面概覽14
1．8．2操作區14
1．8．3 Notebook內容編輯區15
1．8．4側邊欄21
1．8．5工具欄23
1．9 AI Studio集群項目23
1．9．1集群項目說明23
1．9．2創建集群項目24
1．9．3頁面概覽25
1．9．4代碼編輯界面25
1．9．5文件管理和數據集區域26
1．9．6文件預覽編輯和提交任務區域27
1．9．7 PaddlePaddle集群訓練說明27
1．9．8數據集與輸出文件路徑說明28
1．9．9提交任務29
1．9．10歷史任務29
1．9．11預安裝包說明30
1．10在線部署及預測31
1．10．1功能說明31
1．10．2通過訓練任務生成模型文件32
1．10．3創建一個在線服務34
1．10．4測試沙盒服務39
1．10．5部署在線服務40
1．10．6調用在線服務41
1．11 NumPy常規操作及使用42

第2章PaddlePaddle Fluid的環境搭建與安裝50
2．1在Linux系統中安裝PaddlePaddle 50
2．1．1租用百度BCC雲服務器50
2．1．2安裝前的準備工作56
2．1．3通過pip安裝PaddlePaddle 58
2．1．4在Docker中安裝PaddlePaddle 59
2．2在Windows系統中安裝PaddlePaddle 64
2．2．1 Windows GPU驅動環境安裝64
2．2．2下載並安裝CUDA 65
2．2．3安裝cuDNN 68
2．2．4安裝PaddlePaddle 69
2．3在macOS系統中安裝PaddlePaddle 69
2．3．1安裝Python 3 69
2． 3．2安裝PaddlePaddle 71

第3章PaddlePaddle深度學習入門—在MNIST上進行手寫數字識別72
3．1引言72
3．2模型概覽73
3．2．1 Softmax回歸模型73
3．2．2多層感知器74
3．2．3捲積神經網絡75
3．3數據介紹78
3．4 PaddlePaddle的程序配置過程79
3．4．1程序說明79
3．4．2配置inference_program 79
3．4．3配置train_program 81
3．4．4配置optimizer_program 82
3．4．5配置數據集reader 82
3．5構建訓練過程83
3．5．1事件處理程序配置83
3．5．2開始訓練84
3．6應用模型86
3 ．6．1生成待預測的輸入數據87
3．6．2 Inference創建及預測87
3．6．3預測結果87
3．7小結88

第4章PaddlePaddle設計思想與核心技術89
4．1編譯時與運行時的概念89
4．2 Fluid內部執行流程90
4．3 Program設計簡介91
4．4 Block簡介92
4．5 Block和Program的設計細節93
4．6框架執行器設計思想94
4．6．1代碼示例95
4．6．2創建框架執行器95
4．6．3運行框架執行器96
4．7示例96
4．7．1定義Program 96
4．7．2創建框架執行器98
4．7． 3運行框架執行器99
4．8 LoD Tensor數據結構解讀99
4．8．1 LoD索引100
4．8．2 LoD Tensor在PaddlePaddle中的表示方法101
4．8．3 LoD Tensor的API 103
4．8．4 LoD Tensor的使用示例105
4．9動態圖機制——DyGraph 107
4．9．1動態圖設置和基本用法108
4．9．2基於DyGraph構建網絡109
4．9．3使用DyGraph訓練模型110
4．9．4模型參數的保存115
4．9．5模型評估116
4．9．6編寫兼容的模型118

第5章獨孤九劍—經典圖像分類網絡實現119
5．1圖像分類網絡現狀119
5．2 VGG16圖像分類任務123
5．2．1定義網絡結構124
5．2．2定義推理程序127
5．2．3定義訓練程序127
5．2 ．4實例化訓練對象128
5．2．5讀取數據128
5．2．6編寫事件處理程序並啟動訓練129
5．2．7執行模型預測130
5．3模塊化設計GoogleNet 135
5．4 Alexnet模型實現142
5．5 Resnet模型實現146
5．6 MobileNet V2模型實現149
5．7 ShuffleNet V2模型實現154

第6章“天網”系統基礎—目標檢測159
6．1目標檢測簡介160
6．2對R-CNN系列算法的探索歷史161
6．2．1 R-CNN算法：目標檢測開山之作161
6．2．2 SPP網絡164
6．2．3 Fast R-CNN 166
6．2．4 Faster R-CNN 167
6．3單步目標檢測算法177
6．3．1統一檢測算法YOLO 178
6．3．2 SSD基本原理181
6．3．3 SSD在訓練時的匹配策略185
6．3．4使用PaddlePaddle實現SSD網絡186
6．4 PyramidBox 203
6．4．1提出PyramidBox方法的背景204
6．4．2 PyramidBox網絡結構205
6．4．3 PyramidBox的創新點208
6．4．4 PyramidBox的PaddlePaddle官方實現210

第7章“天網”系統進階—像素級物體分割221
7．1物體分割簡介221
7．2語義分割與實例分割的關係222
7．3語義分割222
7．3．1語義分割的任務描述223
7．3．2全捲積網絡224
7．3．3 ParseNet 229
7．3．4 u-net 229
7．3．5 v-net 231
7．3．6 u-net變體網絡231
7．3．7 PSPNet 233
7．3．8 ICNet 234
7．3．9 DeepLab v3+ 241
7．4實例分割249
7．4．1實例分割概述249
7．4．2 Mask R-CNN 250

第8章從零開始瞭解NLP技術—word2vec 263
8．1初識NLP 263
8．2詞向量簡介265
8．3如何得到詞向量模型268
8．4詞向量模型概覽269
8．4．1語言模型269
8．4．2 N-Gram模型269
8．4．3 CBOW模型270
8．4． 4 Skip-Gram 271
8．4．5詞ID 271
8．5通過PaddlePaddle訓練CBOW模型273
8．5．1 CBOW模型訓練過程273
8．5．2數據預處理274
8．5．3編程實現274
8 ．5．4模型應用278
8．6小結280

第9章feed流最懂你—個性化推薦282
9．1引言282
9．2推薦網絡模型設計283
9．2．1 YouTube的深度神經網絡個性化推薦系統284
9．2．2融合推薦模型286
9．3電影推薦實驗290
9．3．1數據介紹與下載290
9 ．3．2模型配置說明292
9．3．3訓練模型295
9．3．4應用模型298
9．4小結299

第10章讓機器讀懂你的心—情感分析技術300
10．1情感分析及其作用300
10．2模型設計303
10．3情感分析實驗308

第11章NLP技術深入理解—語義角色標註315
11．1引言315
11．2模型概覽317
11．2．1棧式循環神經網絡317
11．2．2雙向循環神經單元318
11．2．3條件隨機場319
11．2．4深度雙向LSTM SRL模型320
11．3使用PaddlePaddle實現SRL任務322
11．3．1數據預處理322
11． 3．2進行PaddlePaddle實驗324
11．4小結331

第12章NLP技術的應用—機器翻譯332
12．1引言332
12．2效果展示333
12．3模型概覽333
12．3．1時間步展開的雙向循環神經網絡333
12．3．2編碼器-解碼器框架334
12．3．3柱搜索算法337
12．4機器翻譯實戰337
12．4．1數據預處理337
12．4．2模型配置338
12．4．3訓練模型342
12．4．4應用模型343

第13章PaddlePaddle移動端及嵌入式框架—Paddle-Mobile 345
13．1 Paddle-Mobile簡介345
13．2 Paddle-Mobile優化與適配346
13．2．1包壓縮346
13．2．2工程結構編碼前重新設計347
13．3移動端主體識別和分類350
13．3．1完全在雲端的神經網絡技術應用352
13．3．2移動端業界案例353
13．3．3在移動端應用深度學習技術的難點355
13．3．4 AR實時翻譯問題的解決方案356
13．4編譯與開發Paddle-Mobile平臺庫359
13．5開發一個基於移動端深度學習框架的Android APP 360
13．6 Paddle-Mobile設計思想368

第14章百度開源高速推理引擎——Anakin 374
14．1 Anakin架構與性能375
14．2 Anakin的特性379
14．2．1支持眾多異構平臺379
14．2．2高性能379
14．2．3彙編級的kernel優化382
14．2．4 Anakin值得一提的技術亮點382
14．3 Anakin的使用方法384
14．3．1 Anakin的工作原理384
14．3．2 Anakin v2．0 API 385
14．4示例程序393

附錄A TensorFlow與PaddlePaddle Fluid接口中常用層對照表394
附錄B Caffe與PaddlePaddle Fluid接口中常用層對照表401