視覺人體動作識別技術

人體動作識別是電腦視覺以及相關領域的重要研究內容，旨在識別出具有高層語義的人體動作。客觀環境的復雜性以及運動的多樣性使基於視覺的人體姿態估計和動作識別極具挑戰性，因此研究人體動作識別方法具有十分重要的理論意義和應用價值。本書在總結分析人體動作識別研究現狀的基礎上，從單人動作和群組動作兩個層面研究人體動作識別技術，即人體2D姿態估計、人體3D姿態估計、單人動作識別，以及群體動作識別。本書結構合理，內容全面，既有嚴格的理論基礎，又有實際的應用。。

第1章 緒論 001
1.1 研究目的和意義 001
1.2 國內外研究現狀 005
1.2.1 人體姿態估計 005
1.2.2 基於視頻的人體動作識別 011
1.2.3 基於骨架序列的人體動作識別 014
1.2.4 基於互動關系的視覺人體動作識別 015
1.2.5 視頻群體動作識別 027
1.3 研究內容 032
1.4 本書結構安排 034
第2章 基於時序一致性探索的人體2D姿態估計 036
2.1 引言 036
2.2 相關工作 038
2.2.1 基於深度學習的視頻人體2D姿態估計 038
2.2.2 捲積長短時記憶網絡和可變形捲積 038
2.3 問題定義 039
2.4 圖像人體2D姿態估計網絡 040
2.5 視頻時序一致性探索 041
2.5.1 變形操作 042
2.5.2 聚合操作 043
2.5.3 雙向時序一致性探索 043
2.5.4 多尺度時序一致性探索 044
2.6 視頻人體2D姿態估計網絡 044
2.7 實驗結果 046
2.7.1 實驗設置 046
2.7.2 性能比較 048
2.7.3 模型控制變量分析與實驗結果 051
2.8 本章小結 055
第3章 多視角幾何驅動的自監督人體3D姿態估計 057
3.1 引言 057
3.2 相關工作 059
3.2.1 基於深度學習的單目人體3D姿態估計 060
3.2.2 弱/自監督單目人體3D姿態估計 060
3.3 自監督人體3D姿態估計方法 061
3.3.1 雙分支自監督訓練網絡結構 061
3.3.2 損失函數 062
3.3.3 訓練 064
3.4 實驗結果 065
3.4.1 實驗設置 065
3.4.2 模型控制變量分析與實驗結果 066
3.4.3 性能比較 070
3.5 本章小結 071
第4章 基於人體形狀與相機視角一致分解的人體3D姿態估計 072
4.1 引言 072
4.2 相關工作 074
4.2.1 基於字典學習的單目人體3D姿態估計方法 074
4.2.2 運動恢復非剛體結構 075
4.3 問題定義 075
4.4 一致分解網絡 076
4.5 層次化字典學習 077
4.6 模型訓練 079
4.7 實驗結果 079
4.7.1 實驗設置 079
4.7.2 模型控制變量分析與實驗結果 080
4.7.3 性能比較 083
4.8 本章小結 084
第5章 基於多時空特徵的人體動作識別 086
5.1 引言 086
5.2 相關工作 088
5.2.1 基於表觀的時空表示學習 088
5.2.2 基於骨架序列的時空表示學習 089
5.3 多時空特徵人體動作識別方法概述 089
5.4 多層級表觀特徵聚合 090
5.4.1 局部演化描述符提取 090
5.4.2 局部演化描述符編碼 092
5.4.3 深度監督的多層級特徵聚合 092
5.5 時空圖捲積網絡 093
5.5.1 時空圖捲積 094
5.5.2 網絡細節 095
5.6 實驗結果 096
5.6.1 實驗設置 096
5.6.2 模型控制變量分析與實驗結果 097
5.6.3 性能比較 099
5.7 本章小結 100
第6章 基於扁平式互動關系分析的多人動作識別 101
6.1 引言 101
6.2 相關工作 109
6.3 特徵表徵 111
6.3.1 肢體角度描述符特徵 113
6.3.2 空間佈局特徵 114
6.3.3 基於融合受限玻爾茲曼機的特徵融合 116
6.4 線索互動關系模型 126
6.5 扁平式動作識別方法 127
6.6 局部線索與局部識別 129
6.7 基於目標子空間度量的動作相關性分析 130
6.8 全局線索整合與動作識別 131
6.8.1 全局-局部線索整合算法 131
6.8.2 改進全局-局部線索整合算法 132
6.9 實驗結果與分析 136
6.9.1 數據集及實驗設置 136
6.9.2 算法結果與分析 138
6.9.3 與現有方法的對比 146
6.10 本章小結 149
第7章 基於層級式互動關系分析的群組動作識別 150
7.1 引言 150
7.2 相關工作 152
7.3 混合群組動作模型 154
7.4 混合群組動作模型的概率分佈 157
7.5 基於混合群組動作模型的動作識別算法 161
7.6 實驗與算法分析 162
7.6.1 數據集和實驗設置 162
7.6.2 算法結果和分析 163
7.6.3 與現有方法的對比 168
7.7 本章小結 170
第8章 融合動作相關性的群體動作識別 171
8.1 引言 171
8.2 相關工作 172
8.3 問題定義 173
8.4 動作表示 173
8.4.1 多尺度特徵 174
8.4.2 動作表示提取 175
8.5 動作關系推理 177
8.5.1 動作相關性 177
8.5.2 關系推理 179
8.5.3 算法描述 180
8.6 時空表示 181
8.7 模型訓練 184
8.8 實驗分析 185
8.8.1 數據集與評價指標 185
8.8.2 實驗設置 187
8.8.3 實驗結果分析 187
8.9 本章小結 193
第9章 結論與展望 194