視覺環境感知技術——場景語義解析方法與應用

第 1章緒論 .............................................................................................. 1 

1.1背景與意義 

.................................................................................. 1 

1.

2國內外研究現狀 ............................................................................ 5 

1.

2.1視覺場景信息處理與傳遞 .................................................... 5 

1.

2.2高效多尺度特徵提取框架 .................................................... 7 

1.

2.3高維知識表徵方法 .............................................................. 8 

1.

2.4高分辨率語義生成技術 ...................................................... 10 

1.

2.5網絡訓練動態改善技術 ...................................................... 11 

1.

2.6場景語義解析算法網絡構建及其應用 .................................. 13 

1.

2.7場景語義解析數據集及評價標準 ......................................... 14 

1.

3科學問題與研究內容 .................................................................... 18 

1.

3.1擬解決的科學問題 ............................................................. 18 

1.

3.2本書的研究內容 ................................................................ 20 

1.4本書內容安排 

.............................................................................. 22

第 2章網絡信息流傳遞機制 ..................................................................... 24 

2.1概述 

........................................................................................... 24 

2.

1.1擬解決的主要問題 ............................................................. 25 

2.

1.2研究內容及貢獻 ................................................................ 26 

2.

2結構信息留存策略 ....................................................................... 26 

2.

2.1網絡結構設計 ................................................................... 27 

2.2.2性能分析 

.......................................................................... 28 

2.

2.3與現有方法對比 ................................................................ 28 

2.

3具有相互引導性的上-下採樣對 ...................................................... 29 

2.

3.1網絡結構設計 ................................................................... 30 

2.3.2性能分析 

.......................................................................... 31 

2.

3.3與現有方法對比 ................................................................ 33 

2.

4層次化高分辨率信息恢復與生成 ................................................... 34 

2.

4.1網絡結構設計 ................................................................... 35 

2.4.2性能分析 

.......................................................................... 35 

2.

4.3與現有方法對比 ................................................................ 37 

2.

5實驗結果與分析 ........................................................................... 38 

2.

5.1實驗模型構建 ................................................................... 38 

2.5.2消融研究 

.......................................................................... 39 

2.

5.3與當前先進方法的性能對比 ............................................... 44 

2.

5.4算法優勢與局限性分析 ...................................................... 47 

2.6本章小結 

..................................................................................... 49

第 3章空間多尺度特徵學習 ..................................................................... 50 

3.1概述 

........................................................................................... 50 

3.

1.1擬解決的主要問題 ............................................................. 51 

3.

1.2研究內容及貢獻 ................................................................ 52 

3.2空間鄰域解耦

-耦合算子 ................................................................ 52 

3.2.1算子定義 

.......................................................................... 52 

3.

2.2與現有方法對比 ................................................................ 54 

3.

3初始特徵的局部感知與全局建模 ................................................... 55 

3.

3.1網絡結構設計 ................................................................... 56 

3.3.2性能分析 

.......................................................................... 57 

3.

3.3與現有方法對比 ................................................................ 58 

3.

4高級特徵的空間並行多尺度學習 ................................................... 59 

3.

4.1網絡結構設計 ................................................................... 59 

3.4.2性能分析 

.......................................................................... 60 

3.

4.3與現有方法對比 ................................................................ 62 

3.

5實驗結果與分析 ........................................................................... 63 

3.5.1實驗模型 

.......................................................................... 63 

3.5.2消融研究 

.......................................................................... 63 

3.

5.3與當前先進方法的性能對比 ............................................... 69 

3.

5.4算法優勢與局限性分析 ...................................................... 73 

3.6本章小結 

..................................................................................... 74

第 4章頻域下高效知識表徵 ..................................................................... 75 

4.1概述 

........................................................................................... 75 

4.

1.1擬解決的主要問題 ............................................................. 76 

4.

1.2研究內容及貢獻 ................................................................ 77 

4.

2全感受野捲積算子 ....................................................................... 77 

4.

2.1網絡結構設計 ................................................................... 78 

4.2.2設計原理 

.......................................................................... 79 

4.2.3性能分析 

.......................................................................... 79 

4.

3頻域下全局空間結構建模 ............................................................. 80 

4.

3.1網絡結構設計 ................................................................... 80 

4.3.2設計原理 

.......................................................................... 81 

4.

4因子化註意力機制下的融合表徵 ................................................... 82 

4.

4.1網絡結構設計 ................................................................... 82 

4.4.2設計原理 

.......................................................................... 83 

4.

5實驗結果與分析 ........................................................................... 84 

4.

5.1實驗模型構建 ................................................................... 84 

4.5.2消融研究 

.......................................................................... 85 

4.

5.3與當前先進方法的性能對比 ............................................... 87 

4.6本章小結 

..................................................................................... 88 

第 5章幅-相感知與高分辨率語義生成 ....................................................... 89 

5.1概述 

........................................................................................... 89 

5.

1.1擬解決的主要問題 ............................................................. 90 

5.

1.2研究內容及貢獻 ................................................................ 91 

5.

2圖像頻域表徵分析 ....................................................................... 91 

5.

2.1圖像頻域表徵形式 ............................................................. 91 

5.

2.2圖像譜特性分析 ................................................................ 93 

5.2.3語義

-定位解耦表徵變換 ..................................................... 94 

5.

3基於幅度感知的語義多樣性表徵 ................................................... 95 

5.3.1設計原理 

.......................................................................... 95 

5.

3.2網絡結構設計 ................................................................... 96 

5.

4基於相位修正的定位原型優化 ....................................................... 97 

5.4.1設計原理 

.......................................................................... 97 

5.

4.2網絡結構設計 ................................................................... 98 

5.

5相位敏感性約束 ........................................................................... 99 

5.5.1設計原理 

.......................................................................... 99 

5.5.2設計細節 

........................................................................ 100 

5.

6實驗結果與分析 ......................................................................... 102 

5.

6.1實驗模型構建 ................................................................. 102 

5.6.2消融研究 

........................................................................ 104 

5.

6.3與當前先進方法的性能對比 ............................................. 110 

5.7本章小結 

................................................................................... 113

第 6章模型訓練動態優化 ....................................................................... 114 

6.1概述 

......................................................................................... 114 

6.

1.1擬解決的主要問題 ........................................................... 115 

6.

1.2研究內容及貢獻 .............................................................. 116 

6.

2隱式正則效應度量方法 ............................................................... 116 

6.

2.1網絡訓練動態度量 ........................................................... 116 

6.

2.2推理權重奇異值分佈度量 ................................................. 117 

6.

3稠密重參數化驅動的隱式正則機制 .............................................. 118 

6.

3.1構建深度矩陣分解式結構 ................................................. 118 

6.3.2引入 

BN保證可訓練性 ..................................................... 120 

6.

3.3引入稠密連接以緩解奇異性 ............................................. 122 

6.4訓練

-推理解耦結構及等價變換 .................................................... 126 

6.

4.1稠密重參數化模塊相關參數選擇 ....................................... 128 

6.

4.2稠密重參數化模塊的建模對比 .......................................... 129 

6.

5實驗結果與分析 ......................................................................... 129 

6.5.1實驗設置 

........................................................................ 130 

6.5.2消融實驗 

........................................................................ 130 

6.

5.3先進性驗證實驗 .............................................................. 136 

6.

5.4在場景語義解析任務上的驗證實驗 ................................... 139 

6.6本章小結 

................................................................................... 139

第 7章典型應用案例 ............................................................................. 141 

7.

1部署策略與方案 ......................................................................... 141 

7.

1.1特定硬件下的深度網絡模型設計 ....................................... 142 

7.

1.2特定硬件平臺下的部署策略 ............................................. 149 

7.

2結構化靜態航空消聲蜂窩精準定位 .............................................. 150 

7.2.1任務描述 

........................................................................ 151 

7.2.2算法實施 

........................................................................ 152 

7.

2.3進展與成果 ..................................................................... 154 

7.

3半結構化對抗場景下 RoboCup仿人機器人視覺感知 ..................... 155 

7.3.1任務描述 

........................................................................ 156 

7.3.2算法實施 

........................................................................ 157 

7.

3.3進展與成果 ..................................................................... 159 

7.

4復雜交互場景下的安全監管與人員行為識別 ................................. 160 

7.4.1任務描述 

........................................................................ 160 

7.4.2算法實施 

........................................................................ 162 

7.4.3進展與成果 ..................................................................... 164 

7.5高動態開放場景下自動駕駛車輛車道線檢測 ................................. 166 

7.5.1任務描述 ........................................................................ 166 

7.5.2算法實施 ........................................................................ 168 

7.5.3進展與成果 ..................................................................... 169 

7.6本章小結 ................................................................................... 170

第 8章總結與展望 ................................................................................. 172 

8.1總結 ......................................................................................... 172 

8.2展望 ......................................................................................... 174

參考文獻 ................................................................................................. 177

附錄 A主要符號對照表 .......................................................................... 191