時空行為理解

章毓晉，清華大學教授，研究方向：圖像工程（圖像處理、圖像分析、圖像理解及其技術應用）+ 相關教學理論和方法。1989年獲比利時列日大學應用科學博士學位，1989—1993年為荷蘭德爾夫特大學博士後及研究人員。1993年到清華大學工作，1997年被聘為教授，1998年被評為博士生導師，2014年成為教學科研系列長聘教授。2003年學術休假期間同時被聘為新加坡南洋理工大學訪問教授。在清華大學，先後開出並講授10多門本科生和研究生課程。在南洋理工大學，開出並講授過研究生課程：“現代圖像分析（英語）”。已出版了圖像工程系列教材（第1~5版）等教材，以及專著《圖象分割》《基於內容的視覺信息檢索》《基於子空間的人臉識別》，編著《英漢圖像工程辭典》（第1版和第2版）和《圖像工程技術選編》。現為中國圖象圖形學學名譽監事長，中國圖象圖形學學會會士，國際電氣電子工程師協會（IEEE）高級會員，國際光學工程協會（SPIE）會士（因在圖像工程方面的成就）。 曾任第二十四屆國際圖象處理學術會議（ICIP'2017）程序委員會主席。

 

目錄

 

 

 

 

第1章緒論

 

1．1圖像工程

 

1．1．1圖像技術和圖像工程

 

1．1．2圖像工程的3個層次

 

1．1．3圖像工程相關學科和領域

 

1．1．4圖像工程文獻統計分類

 

1．2時空技術

 

1．2．1時空技術的發展

 

1．2．2時空技術的5個層次

 

1．3深度學習

 

1．3．1圖像理解中的深度學習

 

1．3．2卷積神經網絡的基本概念

 

1．3．3深度學習核心技術

 

1．4全書框架和各章簡介

 

參考文獻

 

第2章興趣點和關鍵點

 

2．1時空興趣點

 

2．1．1空間興趣點的檢測

 

2．1．2時空興趣點的檢測

 

2．2人體關鍵點

 

2．2．1基於圖像的2D人體關鍵點檢測

 

2．2．2基於視頻的2D人體關鍵點檢測

 

2．3多視角下的多人3D關鍵點檢測

 

2．3．1基於多視角的3D人體關鍵點檢測

 

2．3．2基於分層聚類的3D人體關鍵點檢測

 

參考文獻

 

第3章軌跡分析

 

3．1軌跡學習和分析

 

3．1．1場景建模

 

3．1．2軌跡學習

 

3．1．3活動分析

 

3．2軌跡特征聚類樹

 

3．2．1軌跡特征提取

 

3．2．2特征聚類樹

 

3．2．3FV編碼樹

 

3．2．4實驗結果和分析

 

參考文獻

 

第4章動作分類和識別

 

4．1動作分類

 

4．2動作識別

 

4．2．1各種活動中的動作識別

 

4．2．2動作識別的各種網絡

 

4．3結合姿態和上下文的動作分類

 

4．3．1基於姿態模型的動作分類器

 

4．3．2基於上下文的動作分類器

 

4．4基於註意力機制的分類識別

 

4．4．1候選動作生成

 

4．4．2時域動作檢測

 

參考文獻

 

第5章活動建模和識別

 

5．1動作和活動建模

 

5．1．1動作建模

 

5．1．2活動建模

 

5．2主體動作聯合建模

 

5．2．1單標簽主體動作識別

 

5．2．2多標簽主體動作識別

 

5．2．3主體動作語義分割

 

5．3用於活動識別的圖卷積網絡

 

5．3．1分通道拓撲細化建模

 

5．3．2用於動作識別的圖卷積網絡

 

5．3．3分尺度空間和動態時域卷積網絡

 

參考文獻

 

第6章行為識別網絡

 

6．1結合運動和上下文的網絡

 

6．1．1網絡模型框架

 

6．1．2攝像機運動估計和補償

 

6．1．3實驗結果和分析

 

6．2利用結構信息的順序分段網絡

 

6．2．1順序分段

 

6．2．2實驗結果和分析

 

6．3基於骨架表達的方法

 

6．3．1骨架表達

 

6．3．2網絡方法示例

 

參考文獻

 

第7章異常事件檢測

 

7．1異常事件檢測方法分類

 

7．2基於神經網絡的基本檢測方法

 

7．2．1基於卷積自編碼器和塊學習

 

7．2．2基於單類神經網絡的檢測

 

7．3融合梯度差信息的稀疏去噪自編碼器網絡

 

7．3．1基於SDAE的方法

 

7．3．2基於SDAEGS的方法

 

7．3．3SDAE與SDAEGS的對比

 

7．4基於特征軌跡平滑的LSTM自編碼器網絡

 

7．4．1整體框架和流程

 

7．4．2實驗結果和分析

 

7．5特征空間時序平滑的深度生成模型

 

7．5．1生成損失

 

7．5．2時序平滑損失

 

7．5．3訓練和測試

 

7．5．4實驗結果和分析

 

7．6場景內容適應的深度生成模型

 

7．6．1工作流程

 

7．6．2模型具體特點

 

7．6．3實驗結果和分析

 

7．7主輔集成策略

 

7．7．1基本框架和流程

 

7．7．2主輔集成模塊

 

7．7．3實驗結果和分析

 

參考文獻

 

第8章人物交互檢測

 

8．1雙階段方法和單階段方法

 

8．1．1雙階段方法

 

8．1．2單階段方法

 

8．2基於轉換器的方法

 

8．2．1使用轉換器的雙階段方法

 

8．2．2使用轉換器的單階段方法

 

8．3更多典型方法

 

8．3．1零樣本學習

 

8．3．2基於全局和局部實例的方法

 

8．3．3時空人物交互關系檢測

 

8．4數據庫和評價指標

 

8．4．1不同標註粒度的數據庫

 

8．4．2特殊的數據庫

 

8．4．3評價指標

 

參考文獻

 

主題索引