多模態機器學習

目錄

第1章緒論1

1.1引言1

1.2基本術語1

1.3主要研究內容3

1.3.1多模態表示學習3

1.3.2多模態生成4

1.3.3多模態對齊6

1.4發展歷程7

1.5學習任務8

1.6實際應用9

理論知識篇

第2章文本特征提取15

2.1傳統文本特征提取15

2.1.1基於向量空間模型的方法15

2.1.2基於主題模型的方法17

2.2基於神經網絡的文本特征提取20

2.2.1基於靜態詞向量的方法20

2.2.2基於動態詞向量的方法26

第3章語音特征31

3.1數據采集31

3.1.1聲波的特性32

3.1.2聲音的采樣和量化32

3.2預處理33

3.2.1預加重33

3.2.2分幀34

3.2.3加窗35

3.3手工特征提取36

3.3.1時域分析36

3.3.2頻域分析39

3.3.3倒譜域分析41

3.3.4線性預測分析44

3.4基於神經網絡的特征提取46

3.4.1基於基礎神經網絡的語音特征提取46

3.4.2基於預訓練模型的語音特征提取51

第4章圖像特征56

4.1圖像特征相關的基本概念56

4.1.1圖像存儲格式56

4.1.2圖像特征57

4.2手工特征提取58

4.2.1局部特征58

4.2.2全局特征66

4.3基於神經網絡的特征提取71

4.3.1卷積神經網絡72

4.3.2基於卷積神經網絡的圖像特征提取73

4.3.3其他圖像特征提取方法83

第5章視頻特征88

5.1手工特征提取88

5.1.1時空興趣點89

5.1.2改進的密集軌跡特征90

5.1.3三維尺度不變特征變換93

5.1.4三維方向梯度直方圖95

5.1.5立方體97

5.2基於神經網絡的特征提取99

5.2.1雙流網絡99

5.2.2深度三維卷積網絡100

5.3基於預訓練模型的特征提取103

5.3.1預訓練視頻特征提取103

5.3.2基於提示學習的視頻特征提取105

5.4其他模態106

第6章多模態表示學習108

6.1聯合表示108

6.1.1神經網絡109

6.1.2概率圖模型110

6.1.3序列模型111

6.2協同表示112

6.2.1基於相似性的模型113

6.2.2結構化協同空間模型114

第7章多模態融合116

7.1多模態融合的層次116

7.1.1特征層融合116

7.1.2決策層融合117

7.1.3混合層融合117

7.2多模態融合的方法118

7.2.1基於規則的融合方法118

7.2.2基於分類器的融合方法120

7.2.3基於估計的融合方法122

7.3與多模態融合相關的其他問題123

7.3.1模態相關性123

7.3.2模態同步性125

7.3.3模態冗余性126

實際應用篇

第8章多模態諷刺檢測129

8.1多模態諷刺檢測數據集130

8.2多模態諷刺檢測相關方法131

8.2.1基於註意力機制的多模態諷刺檢測模型131

8.2.2基於圖網絡的多模態諷刺檢測模型135

第9章多模態人類行為識別142

9.1多模態人類行為識別數據集142

9.2基於融合學習的多模態HAR143

9.2.1RGB與深度模態融合143

9.2.2RGB與骨架模態融合144

9.2.3骨架與深度模態融合145

9.2.4RGB與音頻模態融合146

9.2.5RGB、深度和慣性傳感器融合147

9.2.6其他融合方法148

9.3基於協同學習的多模態HAR148

9.4多模態HAR討論151

第10章圖像文本檢索153

10.1圖像文本檢索數據集 154

10.2全局圖像文本檢索方法155

10.2.1基於嵌入架構的全局圖像文本檢索方法155

10.2.2基於交互架構的全局圖像文本檢索方法156

10.3局部圖像文本檢索方法158

10.3.1基於模態內關系建模的局部圖像文本檢索方法159

10.3.2基於模態間關系建模的局部圖像文本檢索方法164

10.3.3基於混合模態交互關系建模的局部圖像文本檢索方法166

10.4基於外部知識的圖像文本檢索方法168

10.5基於度量學習的圖像文本檢索方法171

10.6圖像文本多模態預訓練模型172

10.7相關研究任務173

10.7.1弱監督跨模態檢索173

10.7.2零樣本跨模態檢索174

10.7.3場景文本感知的跨模態檢索174

10.7.4跨語言圖像檢索174

第11章組合式圖像檢索175

11.1組合式圖像檢索數據集176

11.2組合式圖像檢索相關工作177

11.2.1基於屬性的組合式圖像檢索177

11.2.2基於自然語言的組合式圖像檢索179

11.2.3其他工作186

第12章跨模態視頻時序片段定位187

12.1跨模態視頻時序片段定位數據集188

12.2有監督跨模態視頻時序片段定位方法189

12.2.1兩階段的有監督跨模態視頻時序片段定位方法189

12.2.2單階段的有監督跨模態視頻時序片段定位方法194

12.2.3基於強化學習的有監督跨模態視頻時序片段定位方法197

12.3弱監督跨模態視頻時序片段定位方法198

12.3.1兩階段的弱監督跨模態視頻時序片段定位方法199

12.3.2單階段的弱監督跨模態視頻時序片段定位方法200

12.3.3基於強化學習的弱監督跨模態視頻時序片段定位方法201

12.4無監督跨模態視頻時序定位方法201

第13章多模態摘要生成203

13.1多模態摘要生成數據集204

13.2多模態摘要生成相關工作205

13.2.1抽取式摘要生成206

13.2.2生成式摘要生成208

第14章多模態對話系統214

14.1多模態對話系統數據集215

14.2多模態對話系統相關工作216

14.2.1基於序列模型的多模態對話系統216

14.2.2基於圖模型的多模態對話系統220

14.2.3基於Transformer模型的多模態對話系統223