理解深度學習

申富饒 南京大學人工智慧學院副院長，電腦軟體新技術全國重點實驗室教授、博導。先後在南京大學數學系獲學士、碩士學位，並在日本東京工業大學獲得博士學位。主要研究方向為神經網路、電腦視覺、機器人智能，主持多項國家級項目，在包括ICML、CVPR等頂級會議和IEEE TPAMI等期刊發表論文130餘篇，出版教材、專著、譯著10餘部。

前言
主要符號表

第 1 章 緒論 1
1.1 深度學習的定義　　 2
1.1.1 深度神經網路　 2
1.1.2 深度學習與神經科學　　　　　 4
1.1.3 深度學習的爭議 4
1.2 深度學習與傳統機器學習方法的差異　 6
1.3 人工智慧與深度學習的發展歷程　　　 7
1.3.1 人工智慧的歷史發展　　　　　 7
1.3.2 深度學習的歷史變遷　　　　　 8
1.4 本書結構　　　　 10
練習　 10

第 2 章 卷積神經網路　　 12
2.1 卷積神經網路概述　 12
2.1.1 引言　　　 12
2.1.2 基本網路結構　 13
2.1.3 卷積層　　　 14
2.1.4 與全連接層的對等關係　　　 17
2.1.5 池化層　　　 21
2.1.6 卷積的變體　 23
2.2 卷積神經網路的訓練 28
2.2.1 前饋運算　　 29
2.2.2 回饋運算　　 29
2.3 經典的捲積神經網路模型　　　　 35
2.3.1 LeNet　　　 35
2.3.2 AlexNet　 37#12;2.3.3 U-Net　　　 39
2.3.4 VGG　　　 40
2.3.5 ResNet　　 41
2.4 專案範例與程式碼解析 44
2.4.1 準備工作　　 44
2.4.2 資料準備　　 44
2.4.3 模型建構　　 47
2.4.4 訓練與測試　 48
2.4.5 結果可視化　 50
2.4.6 拓展：ResNet 視覺化　　　　 52
2.5 小結　　　　　 57
練習　 57

第 3 章 循環神經網路　　 60
3.1 循環神經網路概述　 60
3.1.1 引言　　　 60
3.1.2 循環神經網路的結構與數學表示　 62
3.2 循環神經網路的訓練方法　　　　 65
3.2.1 隨時間反向傳播演算法　　　　 65
3.2.2 即時循環學習演算法　　　　　69
3.3 經典的循環神經網路模型　　　　 70
3.3.1 針對梯度問題的循環神經網路改進 71
3.3.2 循環神經網路變異　　　　　75
3.4 專案範例與程式碼解析 81
3.4.1 資料準備　　 81
3.4.2 資料預處理　 83
3.4.3 模型建構　　 86
3.5 小結　　　　　 90
練習　 90

第 4 章 圖神經網路　　　 92
4.1 圖神經網路概述　 92
4.1.1 引言　　　 92
4.1.2 圖的表示方法　 94#12;4.1.3 圖神經網路的基本任務　　　 95
4.2 圖神經網路的訓練方法　　　　　 96
4.2.1 圖訊號與圖卷積 97
4.2.2 空域圖卷積　 99
4.2.3 譜域圖神經網路的訓練　　　 100
4.2.4 空域圖神經網路的訓練　　　 102
4.3 經典的圖神經網路模型　　　　　106
4.3.1 GCN　　　 106
4.3.2 GraphSAGE 108
4.3.3 GAT　　　 110
4.3.4 R-GCN　　 112
4.4 專案範例與程式碼解析 114
4.4.1 PyTorch 工具簡介　　　　　 114
4.4.2 問題描述　　 114
4.4.3 資料簡介　　 115
4.4.4 資料處理　　 116
4.4.5 模型建構　　 118
4.5 小結　　　　　 121
練習　 121

第 5 章 生成對抗神經網路 123
5.1 生成對抗神經網路概論　　　　　123
5.1.1 引言　　　 123
5.1.2 從機率到模型　　　　　 124
5.1.3 基本結構　　 125
5.2 生成對抗神經網路的訓練方法　　　 126
5.2.1 GAN 的最佳化問題　　　　　 126
5.2.2 GAN 的訓練流程　　　　　 128
5.2.3 GAN 中的梯度消失問題　　　 130
5.2.4 評估指標設計　　　　　 131
5.3 經典的生成對抗神經網路模型　　　 133
5.3.1 CGAN　 133
5.3.2 CycleGAN　 135#12;5.3.3 StyleGAN 136
5.4 專案範例與程式碼解析 139
5.4.1 項目簡介　　 139
5.4.2 資料處理　　 139
5.4.3 模型建構　　 140
5.4.4 訓練過程　　 141
5.4.5 結果顯示　　 144
5.5 小結　　　　　 145
練習　 146

第 6 章 Transformer　　 148
6.1 Transformer 概述　 148
6.1.1 引言　　　 148
6.1.2 Transformer 模型結構　　　　 149
6.2 Transformer 關鍵技術　　　　　 153
6.2.1 編碼方式　　 153
6.2.2 註意力機制　 154
6.2.3 前饋網路　　 159
6.2.4 殘差連結與歸一化　　　　 159
6.3 Transformer 的訓練與推理　　　　 160
6.4 Vision Transformer 161
6.4.1 影像分塊與嵌入　　　　　 162
6.4.2 位置編碼與類別標記　　　　 162
6.4.3 Transformer 編碼與分類　　　 162
6.4.4 ViT 的優勢與挑戰　　　　　 163
6.5 自監督預訓練與大語言模式　　　 163
6.5.1 BERT　　 164
6.5.2 GPT　　　 165
6.5.3 BART　　 166
6.5.4 商用大語言模型　　　　　 166
6.6 專案範例與程式碼解析 167
6.6.1 專案簡介　　 167
6.6.2 項目代碼　　 167#12;6.7 小結　　　　　 183
練習　 183

第 7 章 擴散模型　　　 185
7.1 擴散模型概述　　 185
7.1.1 引言　　　 185
7.1.2 變分自編碼器　　　　　 186
7.1.3 擴散模型網絡結構　　　　 187
7.2 擴散模型的訓練與推理　　　　　188
7.2.1 去雜訊擴散機率模型　　　　 188
7.2.2 擴散模型的訓練過程　　　　 192
7.2.3 擴散模型的推理過程　　　　 193
7.3 經典的擴散模型 193
7.3.1 類別標籤條件　　　　　 193
7.3.2 圖片條件　　 195
7.3.3 文本條件　　 196
7.4 專案範例與程式碼解析 198
7.4.1 搭建 U-Net 網路　　　　　 198
7.4.2 實作 DDPM 演算法　　　　　 202
7.4.3 訓練與推理代碼　　　　　 204
7.5 小結　　　　　 205
練習　 205

第 8 章 深度強化學習　 207
8.1 強化學習概論　　 207
8.1.1 引言　　　 207
8.1.2 強化學習的基本概念　　　　 208
8.1.3 馬可夫決策過程　　　　 208
8.2 基本強化學習演算法 212
8.2.1 有模型學習　 212
8.2.2 無模型學習　 214
8.3 深度強化學習演算法 218
8.3.1 以值函數為基礎的方法　　　　 218
8.3.2 基於策略梯度的方法　　　　 220#12;8.3.3 Actor-Critic　 223
8.4 專案範例與程式碼解析 225
8.4.1 Gym 簡介 225
8.4.2 演算法建構　　 226
8.4.3 訓練與測試　 230
8.4.4 結果顯示　　 232
8.5 小結　　　　　 232
練習　 232

第 9 章 深度學習工具　 234
9.1 深度學習架構概述 234
9.1.1 發展背景　　 234
9.1.2 基礎概念與操作　　　　　 235
9.2 TensorFlow 及其應用　　　　　 244
9.2.1 簡介　　　 244
9.2.2 安裝與初步設定　　　　　 245
9.2.3 深度學習應用　　　　　 246
9.3 PyTorch 及其應用 253
9.3.1 簡介　　　 253
9.3.2 安裝與初步設定　　　　　 255
9.3.3 深度學習應用　　　　　 257
9.4 飛槳及其應用　　 261
9.4.1 簡介　　　 261
9.4.2 安裝與初步設定　　　　　 263
9.4.3 深度學習應用　　　　　 264
9.5 框架選擇建議　　 269
9.6 小結　　　　　 270
練習　 271