Deep Learning 5｜生成模型開發實作 ゼロから作るDeep Learning ❺―生成モデル編

斎藤康毅
1984年生於日本長崎縣對馬市，畢業於東京工業大學工學院，東京大學研究所學際情報學府學士課程修畢。現在於企業內從事與電腦視覺、機器學習等有關人工智慧的研究開發工作。2017年獲得IT工程師書籍大獎的（技術書部門大獎），2019年獲得IT工程師書籍大獎（評審特別獎）。著有暢銷書籍《Deep Learning》系列（均由O'Reilly出版）。

STEP 1 常態分布
1.1　機率的基本知識
1.2　常態分布
1.3　中央極限定理
1.4　樣本和的機率分布
1.5　我們身邊的常態分布

STEP 2 最大概似估計
2.1　生成模型概要
2.2　建構使用了實際資料的生成模型
2.3　最大概似估計的理論
2.4　生成模型的用途

STEP 3 多維常態分布
3.1　NumPy 與多維陣列
3.2　多維常態分布
3.3　將二維常態分布視覺化
3.4　多維常態分布的最大概似估計

STEP 4 高斯混合模型
4.1　生活中的多峰分布
4.2　高斯混合模型的資料生成
4.3　高斯混合模型的公式
4.4　參數估計的難處

STEP 5 EM 演算法
5.1　KL 散度
5.2　導出 EM 演算法 ①
5.3　導出 EM 演算法 ②
5.4　GMM 與 EM 演算法
5.5　EM 演算法實作

STEP 6 類神經網路
6.1　PyTorch 與梯度法
6.2　線性迴歸
6.3　參數與優化器
6.4　類神經網路實作
6.5　torchvision 與資料集

STEP 7 變分自編碼器（VAE）
7.1　VAE 與解碼器
7.2　VAE 與編碼器
7.3　ELBO 的最佳化
7.4　VAE 實作

STEP 8 擴散模型的理論
8.1　由 VAE 進化成擴散模型
8.2　擴散過程與反向擴散過程
8.3　計算 ELBO ①
8.4　計算 ELBO ②
8.5　計算 ELBO ③
8.6　擴散模型的學習

STEP 9 擴散模型實作
9.1　U-Net
9.2　正弦波位置編碼
9.3　擴散過程
9.4　生成資料
9.5　擴散模型的學習（實作篇）

STEP 10 擴散模型的應用
10.1　條件擴散模型
10.2　score 函數
10.3　分類器引導
10.4　無分類器引導
10.5　Stable Diffusion

附錄A 導出多維常態分布的最大概似估計
附錄B 詹森不等式
附錄C 階層型VAE 的理論與實作
附錄D 公式符號說明