生成對抗網絡：原理及圖像處理應用

第1章 緒論 1
1.1 從圖像處理到數字視覺 2
1.1.1 數字圖像技術 3
1.1.2 數字視覺技術 5
1.1.3 數字視覺的應用 7
1.2 神經網絡由淺入深 10
1.2.1 神經網絡的發展 10
1.2.2 深度神經網絡 11
1.2.3 深度學習的進展 12
1.3 從概率生成到對抗生成 13
1.3.1 概率生成模型 14
1.3.2 概率分佈比較 16
1.3.3 對抗生成模型 16
1.4 GAN的應用 18
1.4.1 在圖像領域中的應用 18
1.4.2 在其他領域中的應用 20
第2章 數字圖像處理 22
2.1 數字圖像基礎 22
2.1.1 圖像的數學表示 22
2.1.2 圖像的數字化 23
2.1.3 數字圖像的表示 26
2.1.4 圖像的分辨率 28
2.2 傳統數字圖像處理 30
2.2.1 圖像採集和壓縮 30
2.2.2 圖像去噪和濾波 31
2.2.3 圖像增強和復原 32
2.2.4 圖像分割 33
2.2.5 圖像特徵提取和目標檢測 34
2.2.6 圖像變換和超分辨率重建 35
2.3 ANN圖像處理 36
2.3.1 圖像分類 36
2.3.2 目標檢測與跟蹤 37
2.3.3 語義分割和實例分割 39
2.3.4 圖像生成 40
2.4 常用的圖像數據集 43
第3章 人工神經網絡 49
3.1 ANN簡介 49
3.1.1 從生物到人工神經元 50
3.1.2 從感知機到神經網絡 51
3.1.3 從淺層到深度 54
3.1.4 ANN的特點和應用 55
3.2 常見的ANN類型 57
3.2.1 RBF網絡 57
3.2.2 ART網絡 58
3.2.3 SOM網絡 59
3.2.4 波爾茲曼機 59
3.2.5 級聯相關網絡 61
3.3 ANN的關鍵技術 62
3.3.1 網絡類型 62
3.3.2 網絡訓練 62
3.3.3 激活函數 64
3.3.4 驗證和泛化 65
3.4 BP算法 66
3.4.1 數據的正向傳播 67
3.4.2 誤差的反向傳播 68
3.4.3 BP算法流程 70
3.4.4 BP算法的幾個問題 70
3.5 ANN的學習方式 71
3.5.1 有監督學習 71
3.5.2 無監督學習 72
3.5.3 半監督學習 72
3.5.4 強化學習 73
第4章 GAN中常用的ANN 74
4.1 捲積神經網絡 74
4.1.1 CNN的結構 75
4.1.2 CNN的核心技術 76
4.1.3 CNN的訓練和改進 79
4.1.4 CNN一例 80
4.1.5 圖像捲積 81
4.2 循環神經網絡 84
4.2.1 RNN的結構 85
4.2.2 RNN與CNN的比較 85
4.3 變分自編碼器 86
4.3.1 自編碼器 86
4.3.2 VAE概述 87
4.4 深度殘差網絡 91
4.4.1 深度網絡的困境 91
4.4.2 殘差塊結構 92
4.4.3 殘差塊的作用 92
4.4.4 ResNet的誤差反傳 93
第5章 相關算法 96
5.1 和圖像處理有關的算法 96
5.1.1 分類算法 96
5.1.2 聚類算法 104
5.1.3 降維算法 106
5.1.4 遷移學習 113
5.1.5 馬爾可夫鏈和HMM 115
5.2 和函數優化有關的算法 120
5.2.1 最小二乘法 120
5.2.2 梯度下降法 121
5.2.3 EM算法 125
第6章 GAN基礎 129
6.1 GAN概要 130
6.1.1 GAN的數據生成 130
6.1.2 GAN的網絡結構 133
6.1.3 GAN的優勢和不足 137
6.2 數據分佈及其轉換 139
6.2.1 圖像數據的高維分佈 139
6.2.2 隱變量和隱空間 141
6.2.3 分佈函數的轉換 143
6.3 生成模型與判別模型 145
6.3.1 生成模型 145
6.3.2 判別模型 149
6.3.3 生成模型和判別模型的關系 150
6.4 GAN的工作過程 152
6.4.1 納什均衡 153
6.4.2 對抗訓練 154
6.4.3 訓練流程 157
第7章 GAN的目標函數 160
7.1 數據的信息熵 161
7.1.1 隨機變量 161
7.1.2 信息量和信息熵 164
7.1.3 交叉熵 166
7.2 數據分佈的差異：散度 168
7.2.1 KL散度 168
7.2.2 JS散度 169
7.2.3 f散度 169
7.3 GAN目標函數及其優化 171
7.3.1 目標函數 171
7.3.2 判別器優化 178
7.3.3 生成器優化 180
第8章 GAN的訓練 182
8.1 GAN訓練中常見的問題 183
8.1.1 收斂不穩定問題 183
8.1.2 梯度消失問題 184
8.1.3 模式崩潰問題 189
8.2 提升GAN訓練的穩定性 192
8.2.1 選擇恰當的網絡模型 192
8.2.2 選擇恰當的目標函數 194
8.2.3 選擇恰當的優化算法 196
8.3 GAN訓練中的常用技巧 198
8.3.1 數據規範化 198
8.3.2 學習率衰減 199
8.3.3 丟棄技術 200
8.3.4 批量規範化 203
8.3.5 激活函數的選擇 203
第9章 GAN的改進 206
9.1 GAN的改進之路 207
9.2 C GAN和info GAN 207
9.2.1 C GAN 207
9.2.2 info GAN 209
9.3 DC GAN 211
9.4 W GAN 213
9.5 Big GAN 214
第10章 GAN的圖像處理應用 217
10.1 圖像生成 218
10.1.1 圖像生成的三種方式 218
10.1.2 幾種特殊的圖像生成 221
10.2 圖像超分辨率重建 221
10.3 圖像修復 222
10.4 圖像翻譯 224
10.4.1 圖像至圖像的翻譯 224
10.4.2 文本至圖像的翻譯 225
10.5 圖像風格遷移 226
10.6 視頻預測 227
第11章 GAN的Python編程 228
11.1 Python編程語言 228
11.1.1 Python簡介 228
11.1.2 Python的特點 230
11.1.3 Python的應用 232
11.2 常見的Python集成開發環境 233
11.3 深度學習框架 235
11.3.1 主流的深度學習框架 235
11.3.2 主流學習框架的比較 237
11.4 TensorFlow中的GAN編程 238
11.4.1 張量和張量流 239
11.4.2 Python的TensorFlow庫 242
11.4.3 TensorFlow的常用模塊 243
第12章 GAN圖像處理實例 245
12.1 1維GAN編程 245
12.1.1 1維GAN小程序 246
12.1.2 數據對齊 248
12.1.3 訓練中的幾個問題 249
12.2 MNIST手寫數字的生成 249
12.2.1 GAN模型的訓練程序 250
12.2.2 GAN模型的生成程序 254
12.2.3 訓練程序的圖解 256
12.2.4 生成程序的圖解 257