生成式視覺模型原理與實踐

目錄

第1章 生成式人工智能概述 1
1.1 生成式人工智能：引領生產力的飛躍 1
1.1.1 ChatGPT 1
1.1.2 Sora 2
1.1.3 應用前景與意義 2
1.2 生成式人工智能的發展歷程 3
1.2.1 從統計學習到深度學習前夕 3
1.2.2 深度學習時代 4
1.2.3 大模型時代 5
1.3 生成式人工智能的發展方向 6
1.4 生成式人工智能的倫理問題 7
1.5 習題 9
1.6 參考文獻 9
第2章 生成式建模與評價指標 10
2.1 根本任務 10
2.1.1 分布估計 11
2.1.2 樣本生成 12
2.1.3 針對數字圖像的生成式建模 12
2.2 典型生成模型 13
2.3 評價指標 15
2.3.1 負對數似然 15
2.3.2 基於距離或散度的評價指標 16
2.3.3 精確率和召回率 21
2.3.4 統計檢驗 22
2.3.5 用生成樣本訓練分類器 22
2.3.6 過擬合檢測 23
2.4 重要意義 23
2.5 習題 24
2.6 參考文獻 24
第3章 VAE 25
3.1 預備知識 25
3.1.1 AE 25
3.1.2 KL散度 26
3.1.3 MLE 27
3.1.4 條件編碼 27
3.1.5 馬爾可夫鏈 29
3.1.6 重參數化技巧 30
3.2 數學符號 31
3.3 總體思路 31
3.4 理論分析 33
3.4.1 證據下界 33
3.4.2 目標函數 34
3.5 模型結構 36
3.5.1 推斷網絡 36
3.5.2 生成網絡 37
3.5.3 VAE與AE的對比 37
3.6 訓練算法 38
3.7 采樣算法 39
3.7.1 後驗采樣 39
3.7.2 先驗采樣 40
3.8 變體模型 41
3.8.1 CVAE 41
3.8.2 Beta-VAE 42
3.8.3 MHVAE 42
3.8.4 VQ-VAE 43
3.9 代碼實踐：VAE 44
3.9.1 數據載入與實驗設置 45
3.9.2 推斷網絡和生成網絡 46
3.9.3 模型訓練 49
3.9.4 采樣與可視化 50
3.10 習題 51
3.11 參考文獻 52
第4章 GAN 53
4.1 預備知識 53
4.1.1 JS散度 53
4.1.2 Wasserstein距離 54
4.1.3 Lipschitz連續函數 55
4.1.4 MMD 55
4.1.5 拒絕采樣 56
4.2 原始GAN 57
4.2.1 生成器與判別器 57
4.2.2 損失函數與訓練算法 58
4.2.3 如何理解生成器的本質 60
4.2.4 理論最優判別器 60
4.2.5 為什麼GAN是生成模型 61
4.2.6 梯度消失問題 62
4.2.7 模式坍縮問題 63
4.3 CGAN 64
4.3.1 重要的生成式建模範式 64
4.3.2 模型結構 65
4.3.3 損失函數與訓練算法 66
4.3.4 模型分析 67
4.4 變體模型 68
4.4.1 損失函數 68
4.4.2 網絡架構 73
4.4.3 正則化 81
4.4.4 條件輸入方法 84
4.4.5 一維連續條件 87
4.4.6 隱變量解耦 89
4.4.7 數據增強 91
4.4.8 二次采樣 93
4.4.9 大模型技術 94
4.4.10 典型應用 95
4.5 代碼實踐：DCGAN 99
4.5.1 實驗設置 99
4.5.2 生成器與判別器 100
4.5.3 模型訓練 102
4.5.4 采樣與可視化 105
4.5.5 性能比較 106
4.6 習題 108
4.7 參考文獻 108
第5章 NF模型 111
5.1 NF模型基礎 111
5.1.1 變量替換定理 111
5.1.2 雅可比行列式的性質與計算 112
5.1.3 多步變換後的概率分布 114
5.2 NF模型的訓練和采樣 115
5.2.1 NF模型的訓練 115
5.2.2 NF模型的采樣 116
5.2.3 NF模型的實現 116
5.3 如何構造一個NF模型 118
5.3.1 仿射流 118
5.3.2 平面流和徑向流 120
5.3.3 耦合流 122
5.3.4 自回歸流 125
5.3.5 可逆殘差流 128
5.4 連續時間下的NF模型 132
5.5 代碼實踐：RealNVP 135
5.5.1 實驗設置 135
5.5.2 NF模型的構建 135
5.5.3 訓練過程 138
5.5.4 性能比較 139
5.6 習題 139
5.7 參考文獻 140
第6章 DM 142
6.1 預備知識 142
6.1.1 Stein’s分數函數 142
6.1.2 Tweedie’s公式 143
6.1.3 隨機微分方程 143
6.2 VDM 144
6.2.1 從VAE到VDM 144
6.2.2 變種損失函數 158
6.2.3 方差表 163
6.2.4 經典模型：DDPM 166
6.2.5 跨步采樣：DDIM 168
6.2.6 隱擴散模型：LDM 171
6.3 SGM 172
6.3.1 SGLD 172
6.3.2 SBM與分數匹配 172
6.3.3 樸素SGM及其問題 173
6.3.4 帶有多尺度噪聲擾動的SGM 174
6.3.5 基於隨機微分方程的SGM 175

6.4 條件擴散模型 180
6.4.1 分類器指導 180
6.4.2 無分類器指導 181
6.5 代碼實踐：DDPM 182
6.5.1 實驗設置 182
6.5.2 網絡定義 183
6.5.3 擴散過程 188
6.5.4 訓練過程 193
6.5.5 性能比較 194
6.6 習題 195
6.7 參考文獻 196
第7章 生成模型應用實戰 198
7.1 典型應用場景 198
7.1.1 可控圖像生成 198
7.1.2 圖像翻譯 199
7.1.3 圖像超分辨率 199
7.1.4 圖像修復 200
7.1.5 圖像分割 201
7.1.6 圖像編輯 201
7.2 實戰案例1：圖像風格遷移 202
7.2.1 案例介紹 202
7.2.2 實驗效果 203
7.3 實戰案例2：醫療影像的模態變換 204
7.3.1 案例介紹 204
7.3.2 實驗效果 204
7.4 實戰案例3：遙感圖像的超分辨率重建 205
7.4.1 案例介紹 205
7.4.2 實驗效果 206
7.5 實戰案例4：Stable Diffusion文生圖 207
7.5.1 Stable Diffusion簡介 207
7.5.2 本地部署 207
7.6 參考文獻 209