擴散模型從原理到實戰

李忻瑋，碩士畢業於美國常春藤盟校之一的哥倫比亞大學數據科學專業，現任聲網人工智能算法工程師；主要研究方向是生成式人工智能、電腦視覺、自然語言處理、提示工程等。

 

蘇步升，擴散模型算法工程師，AIGC創業者，Hugging Face中國社區本地化工作組成員。

 

徐浩然，畢業於中國海洋大學電子信息工程專業，現任聲網音頻算法工程師，從事揚聲器聲學設計、音頻增強算法、音頻質量評估算法等研究工作。

 

餘海銘，本科畢業於暨南大學，碩士畢業於加州大學爾灣分校；先後在中國科學院深圳先進技術研究院、愛奇藝、美團等單位工作；主要研究方向是圖像識別、圖像生成、多模態及自動駕駛等領域。

第 1章　擴散模型簡介　1

1.1　擴散模型的原理　1

1.1.1　生成模型　1

1.1.2　擴散過程　2

1.2　擴散模型的發展　5

1.2.1　開始擴散：基礎擴散模型的提出與改進　6

1.2.2　加速生成：採樣器　6

1.2.3　刷新紀錄：基於顯式分類器引導的擴散模型　7

1.2.4　引爆網絡：基於CLIP的多模態圖像生成　8

1.2.5　再次“出圈”：大模型的“再學習”方法——DreamBooth、LoRA和ControlNet　8

1.2.6　開啟AI作畫時代：眾多商業公司提出成熟的圖像生成解決方案　10

1.3　擴散模型的應用　12

1.3.1　電腦視覺 　12

1.3.2　時序數據預測　14

1.3.3　自然語言　15

1.3.4　基於文本的多模態　16

1.3.5　AI基礎科學　19

第 2章　Hugging Face簡介　21

2.1　Hugging Face核心功能介紹　21

2.2　Hugging Face開源庫　28

2.3　Gradio工具介紹　30

第3章　從零開始搭建擴散模型　33

3.1　環境準備　33

3.1.1　環境的創建與導入　33

3.1.2　數據集測試　34

3.2　擴散模型之退化過程　34

3.3　擴散模型之訓練　36

3.3.1　 UNet網絡　36

3.3.2　開始訓練模型　38

3.4　擴散模型之採樣過程　41

3.4.1　採樣過程　41

3.4.2　與DDPM的區別　44

3.4.3　UNet2DModel模型　44

3.5　擴散模型之退化過程示例　57

3.5.1　退化過程　57

3.5.2　最終的訓練目標　59

3.6　拓展知識　60

3.6.1　時間步的調節　60

3.6.2　採樣（取樣）的關鍵問題　61

3.7　本章小結　61

第4章　Diffusers實戰　62

4.1　環境準備　62

4.1.1　安裝Diffusers庫　62

4.1.2　DreamBooth　64

4.1.3　Diffusers核心API　66

4.2　實戰：生成美麗的蝴蝶圖像　67

4.2.1　下載蝴蝶圖像集　67

4.2.2　擴散模型之調度器　69

4.2.3　定義擴散模型　70

4.2.4　創建擴散模型訓練循環　72

4.2.5　圖像的生成　75

4.3　拓展知識　77

4.3.1　將模型上傳到Hugging Face Hub 　77

4.3.2　使用Accelerate庫擴大訓練模型的規模　79

4.4　本章小結　81

第5章　微調和引導　83

5.1　環境準備　86

5.2　加載一個預訓練過的管線　87

5.3　DDIM——更快的採樣過程　88

5.4　擴散模型之微調　91

5.4.1　實戰：微調　91

5.4.2　使用一個最小化示例程序來微調模型　96

5.4.3　保存和加載微調過的管線　97

5.5　擴散模型之引導　98

5.5.1　實戰：引導　100

5.5.2　CLIP引導　104

5.6　分享你的自定義採樣訓練　108

5.7　實戰：創建一個類別條件擴散模型　111

5.7.1　配置和數據準備　111

5.7.2　創建一個以類別為條件的UNet模型　112

5.7.3　訓練和採樣　114

5.8　本章小結　117

第6章　Stable Diffusion　118

6.1　基本概念　118

6.1.1　隱式擴散　118

6.1.2　以文本為生成條件　119

6.1.3　無分類器引導　121

6.1.4　其他類型的條件生成模型：Img2Img、Inpainting與Depth2Img模型 　122

6.1.5　使用DreamBooth進行微調　123

6.2　環境準備　124

6.3　從文本生成圖像　125

6.4　Stable Diffusion Pipeline　128

6.4.1　可變分自編碼器　128

6.4.2　分詞器和文本編碼器　129

6.4.3　UNet　131

6.4.4　調度器　132

6.4.5　DIY採樣循環　134

6.5　其他管線介紹　136

6.5.1　Img2Img　136

6.5.2　Inpainting　138

6.5.3　Depth2Image　139

6.6　本章小結　140

第7章　DDIM反轉　141

7.1　實戰：反轉　141

7.1.1　配置　141

7.1.2　加載一個預訓練過的管線　142

7.1.3　DDIM採樣　143

7.1.4　反轉　147

7.2　組合封裝　153

7.3　ControlNet的結構與訓練過程　158

7.4　ControlNet示例　162

7.4.1　ControlNet與Canny Edge　162

7.4.2　ControlNet與M-LSD Lines　162

7.4.3　ControlNet與HED Boundary　163

7.4.4　ControlNet與塗鴉畫　164

7.4.5　ControlNet與人體關鍵點　164

7.4.6　ControlNet與語義分割　164

7.5　ControlNet實戰　165

7.6　本章小結　174

第8章　音頻擴散模型　175

8.1　實戰：音頻擴散模型　175

8.1.1　設置與導入　175

8.1.2　在預訓練的音頻擴散模型管線中進行採樣　176

8.1.3　從音頻到頻譜的轉換　177

8.1.4　微調管線　180

8.1.5　訓練循環　183

8.2　將模型上傳到Hugging Face Hub　186

8.3　本章小結　187

附錄A　精美圖像集展示　188

附錄B　Hugging Face相關資源　202