多模態深度學習技術基礎

內容上，本書力求系統地介紹基於深度學習的圖文多模態信息處理技術，側重介紹最通用、最基礎的技術，覆蓋了多模態表示、對齊、融合和轉換等四大關鍵技術。同時也介紹了多模態信息處理領域的**發展前沿——多模態預訓練模型。此外，為了讓讀者可以實踐這些多模態深度學習技術，本書提供了四個完整的實戰案例，分別對應多模態表示、對齊、融合和轉換這四個關鍵技術。 具體而言，本書的內容分為四個部分：初識多模態信息處理、單模態表示、多模態信息處理的關鍵技術、多模態預訓練模型。 第一部分包括兩個章節：第1章介紹多模態信息的基本概念、難點、使用深度學習方法的動機、多模態信息處理的關鍵技術以及這些技術的發展歷史，第2章介紹若乾同時涉及圖像和文本的多模態熱門研究任務。 第二部分包括兩個章節：第3和4章分別介紹了多模態信息處理中常用的文本表示和圖像表示方法。 第三部分包括四個章節：第5、6、7、8章分別介紹面向特定任務的多模態表示、對齊、融合和轉換這四個關鍵技術，且每一章都提供了一個可運行的完整的實戰案例。 第四部分包括一個章節：第9章介紹綜合使用上述關鍵技術，並以學習通用多模態表示為目標的多模態預訓練模型。

目   錄

第1章  緒論 1

1.1  多模態信息處理的概念 1

1.2  多模態信息處理的難點 2

1.3  使用深度學習技術的動機 3

1.4  多模態信息處理的基礎技術 4

1.4.1  表示技術 4

1.4.2  對齊技術 4

1.4.3  融合技術 5

1.4.4  轉換技術 5

1.5  多模態深度學習技術的發展歷史 5

1.6  小結 8

1.7  習題 9

第2章  多模態任務 10

2.1  圖文跨模態檢索 10

2.1.1  數據集 11

2.1.2  評測指標 12

2.2  圖像描述 13

2.2.1  數據集 14

2.2.2  評測指標 14

2.3  視覺問答 19

2.3.1  數據集 20

2.3.2  評測指標 23

2.4  文本生成圖像 23

2.4.1  數據集 24

2.4.2  評測指標 25

2.5  指稱表達 27

2.5.1  數據集 29

2.5.2  評測指標 30

2.6  小結 31

2.7  習題 31

第3章  文本表示 32

3.1  基於詞嵌入的靜態詞表示 33

3.1.1  Word2vec 33

3.1.2  GloVe 35

3.2  基於循環神經網絡的動態詞表示 36

3.2.1  循環神經網絡基礎 36

3.2.2  現代循環神經網絡 37

3.2.3  動態詞表示和整體表示 40

3.3  基於註意力的預訓練語言模型表示 42

3.3.1  自註意力 43

3.3.2  transformer編碼器 46

3.3.3  BERT 47

3.3.4  BERT詞表示和整體表示 49

3.4  小結 50

3.5  習題 50

第4章  圖像表示 51

4.1  基於捲積神經網絡的整體表示和網格表示 53

4.1.1  捲積神經網絡基礎 53

4.1.2  現代捲積神經網絡 54

4.1.3  整體表示和網格表示 55

4.2  基於目標檢測模型的區域表示 57

4.2.1  基於深度學習的目標檢測基礎 57

4.2.2  區域表示 58

4.3  基於視覺transformer的整體表示和塊表示 59

4.3.1  使用自註意力代替捲積 59

4.3.2  視覺transformer 60

4.3.3  整體表示和塊表示 61

4.4  基於自編碼器的壓縮表示 62

4.4.1  量化自編碼器：VQ-VAE 62

4.4.2  量化生成對抗網絡：VQGAN 64

4.4.3  變分生成對抗網絡：KLGAN 67

4.4.4  壓縮表示 67

4.5  小結 68

4.6  習題 68

第5章  多模態表示 69

5.1  共享表示 71

5.1.1  多模態深度自編碼器 72

5.1.2  多模態深度生成模型 73

5.2  對應表示 79

5.2.1  基於重構損失的方法 80

5.2.2  基於排序損失的方法 81

5.2.3  基於對抗損失的方法 84

5.3  實戰案例：基於對應表示的跨模態檢索 85

5.3.1  跨模態檢索技術簡介 85

5.3.2  模型訓練流程 86

5.3.3  讀取數據 87

5.3.4  定義模型 95

5.3.5  定義損失函數 99

5.3.6  選擇優化方法 100

5.3.7  評估指標 101

5.3.8  訓練模型 103

5.4  小結 107

5.5  習題 107

第6章  多模態對齊 109

6.1  基於註意力的方法 110

6.1.1  交叉註意力 110

6.1.2  基於交叉註意力的圖文對齊和相關性計算 112

6.2  基於圖神經網絡的方法 115

6.2.1  圖神經網絡基礎 115

6.2.2  單模態表示提取 120

6.2.3  單模態圖表示學習 120

6.2.4  多模態圖對齊 122

6.3  實戰案例：基於交叉註意力的跨模態檢索 123

6.3.1  讀取數據 123

6.3.2  定義模型 129

6.3.3  定義損失函數 131

6.3.4  選擇優化方法 137

6.3.5  評估指標 137

6.3.6  訓練模型 140

6.4  小結 143

6.5  習題 144

第7章  多模態融合 145

7.1  基於雙線性融合的方法 146

7.1.1  多模態低秩雙線性池化 147

7.1.2  多模態因子雙線性池化 148

7.1.3  多模態Tucker融合 149

7.2  基於註意力的方法 150

7.2.1  基於交叉註意力的基礎方法 150

7.2.2  基於多步交叉註意力的方法 151

7.2.3  基於交叉transformer編碼器的方法 152

7.3  實戰案例：基於MFB的視覺問答 153

7.3.1  視覺問答技術簡介 153

7.3.2  讀取數據 154

7.3.3  定義模型 165

7.3.4  定義損失函數 170

7.3.5  選擇優化方法 170

7.3.6  選擇評估指標 171

7.3.7  訓練模型 171

7.4  小結 175

7.5  習題 175

第8章  多模態轉換 177

8.1  基於編解碼框架的方法 178

8.1.1  基於循環神經網絡的編解碼模型 179

8.1.2  基於註意力的編解碼模型 181

8.1.3  基於transformer的編解碼模型 183

8.2  基於生成對抗網絡的方法 185

8.2.1  基於條件生成對抗網絡的基本方法 185

8.2.2  基於多階段生成網絡的方法 187

8.2.3  基於註意力生成網絡的方法 191

8.3  實戰案例：基於註意力的圖像描述 193

8.3.1  圖像描述技術簡介 193

8.3.2  讀取數據 194

8.3.3  定義模型 195

8.3.4  定義損失函數 203

8.3.5  選擇優化方法 204

8.3.6  選擇評估指標 204

8.3.7  訓練模型 206

8.4  小結 209

8.5  習題 210

第9章  多模態預訓練 211

9.1  總體框架 211

9.2  預訓練數據集 212

9.3  模型結構 213

9.3.1  基於編碼器的模型 214

9.3.2  基於編解碼框架的模型 215

9.4  預訓練任務 216

9.4.1  掩碼語言模型 216

9.4.2  掩碼視覺模型 216

9.4.3  圖像文本匹配 217

9.4.4  跨模態對比學習 217

9.5  下游任務 217

9.5.1  視覺常識推理 217

9.5.2  視覺語言推理 218

9.5.3  視覺蘊含 218

9.6  典型模型 218

9.6.1  基於融合編碼器的雙流模型：LXMERT 218

9.6.2  基於融合編碼器的單流模型：ViLT 220

9.6.3  基於雙編碼器的模型：CLIP 222

9.6.4  基於編解碼框架的模型：OFA 223

9.7  小結 226

9.8  習題 226

參考文獻 227