智能目標感知——無人機視覺

目錄
第 1章無人機視覺與智能目標感知系統框架 ......................................... 1
1.1無人機的發展歷程 ........................................................... 2
1.2無人機載荷 .................................................................. 4
1.3無人機視覺感知技術 ......................................................... 4
1.3.1無人機視覺感知的發展現狀 .................................................5
1.3.2無人機視覺系統的重要性 ...................................................6
1.3.3目標感知與智能計算面臨的挑戰和機遇 ....................................... 6
1.4格式塔認知理論與無人機視覺 ................................................ 8
1.4.1格式塔認知理論的基本原則 .................................................8
1.4.2格式塔與無人機視覺......................................................10
1.5智能目標感知系統框架 ......................................................11
1.5.1感知系統框架的信息系統 ..................................................11
1.5.2信息粒度與視野嵌套......................................................13
1.5.3任務驅動的感知野劃分與集合建模 ..........................................15
1.5.4智能目標感知的技術實現路徑 ..............................................16
1.6無人機視覺信息粒度理論 ................................................... 19
1.6.1圖像金字塔 ............................................................. 20
1.6.2尺度空間理論 ........................................................... 22
1.6.3視覺註意力機制與層次化感知 ..............................................25
1.7無人機全局視野（GP）感知——全局信息整合 .............................. 26
1.7.1全局視野圖像的特性與挑戰 ................................................27
1.7.2關鍵技術 ............................................................... 27
1.7.3基於 HOG算法的全局特征提取方法 ........................................29
1.8無人機視覺系統的應用場景 ................................................. 31
1.8.1軍事偵察 ............................................................... 32
1.8.2環境監測 ............................................................... 33
1.8.3交通管理 ............................................................... 33
1.9小結 ........................................................................ 34
第 2章無人機局部視覺感知與預處理 ...............................................35
2.1引言 ........................................................................ 35
2.2無人機中視野（MP）感知——局部區域分析 ................................ 36
2.2.1基於 SURF算法的局部特征提取技術 ....................................... 37
2.2.2基於超像素分割的區域特征提取技術 ........................................ 39
2.3無人機局部小視野（SP）感知——目標精細識別 ............................ 42
2.3.1精細特征提取機制 ....................................................... 42
2.3.2多尺度與區域建模方法....................................................44
2.3.3小目標檢測與識別框架....................................................47
2.3.4深度特征融合方法與判別性學習策略 ........................................ 48
2.4圖像去噪 ................................................................... 50
2.4.1高斯噪聲及其降噪方法....................................................50
2.4.2斑點噪聲及其降噪方法....................................................51
2.5圖像去霧 ................................................................... 52
2.5.1暗通道先驗方法 ......................................................... 53
2.5.2一種基於暗通道先驗的快速去霧算法 ........................................ 56
2.6圖像幾何校正與配準 ........................................................ 57
2.6.1單應性變換 ............................................................. 58
2.6.2基於投影不變性的航拍圖像配準方法 ........................................ 60
2.7形狀特征檢索與分析 ........................................................ 61
2.7.1形狀特征描述 ........................................................... 62
2.7.2形狀特征匹配與檢索......................................................64
2.8小結 ........................................................................ 66
第 3章無人機視覺目標智能檢測 ................................................... 68
3.1目標檢測 ................................................................... 68
3.1.1目標檢測的發展歷程......................................................68
3.1.2傳統方法與深度學習方法的比較 ............................................70
3.1.3當前目標檢測的挑戰與優化方向 ............................................71
3.2無人機光學圖像目標檢測 ................................................... 72
3.2.1無人機光學成像的特點與檢測場景 ..........................................72
3.2.2典型深度目標檢測模型與技術路線 ..........................................74
3.2.3復雜背景下的目標檢測與改進策略 ..........................................76
3.3無人機紅外圖像目標檢測 ................................................... 78
3.3.1紅外圖像的成像機制與無人機應用場景 ...................................... 79
3.3.2紅外圖像目標檢測的技術特點與難點 ........................................ 80
3.3.3紅外圖像的主流深度目標檢測模型與適配方法 ................................ 81
3.4無人機 SAR圖像目標檢測 .................................................. 82
3.4.1 SAR的成像機制與圖像特性概述 ........................................... 82
3.4.2 SAR圖像目標檢測的基本方法 ............................................. 84
3.4.3 SAR圖像的降斑預處理 ...................................................90
3.5無人機數據的多模態融合檢測：紅外–光學 .................................. 92
3.5.1紅外–光學圖像的互補性分析 ...............................................92
3.5.2局部對齊與差異感知機制 ..................................................93
3.5.3工程部署策略與應用案例分析 ..............................................94
3.6無人機數據的多模態融合檢測：光學–SAR .................................. 95
3.6.1光學圖像與 SAR圖像的特性分析 .......................................... 96
3.6.2光學圖像與 SAR圖像的特征互補性 ........................................ 97
3.6.3配準技術的分類與關鍵方法 ................................................98
3.6.4多模態對齊機制 ........................................................ 102
3.6.5典型光學–SAR融合檢測網絡結構 .........................................104
3.7小結 .......................................................................105
第 4章無人機目標識別與跟蹤 .................................................... 106
4.1引言 .......................................................................106
4.2智能目標感知與識別 ....................................................... 107
4.2.1經典目標分類與檢測模型 ................................................ 107
4.2.2基於雙層約束機制的快速形狀識別方法 .....................................113
4.2.3特征匹配與相似性度量 .................................................. 115
4.2.4基於多形態特征融合的快速形狀識別 .......................................117
4.3場景語義與運動目標 ....................................................... 118
4.3.1多模態場景語義建模 .................................................... 118
4.3.2運動目標狀態估計 ...................................................... 123
4.3.3基於層次粒子濾波的跟蹤優化 .............................................126
4.4多目標跟蹤算法與優化.....................................................128
4.4.1經典多目標跟蹤框架 .................................................... 128
4.4.2復雜場景中的魯棒性增強 ................................................ 130
4.4.3基於 MDNet的實時跟蹤框架 ............................................ 132
4.5註意力模型與特征提取.....................................................134
4.5.1典型註意力模型 ........................................................ 134
4.5.2顯著特征提取 .......................................................... 135
4.5.3無人機平臺註意力優化策略...............................................143
4.6實時跟蹤與資源分配策略 .................................................. 143
4.6.1經典輕量化神經網絡模型部署 .............................................143
4.6.2計算資源動態調度 ...................................................... 151
4.7運動目標穩像 ..............................................................153
4.7.1穩像任務背景與問題建模 ................................................ 153
4.7.2圖像抖動類型與運動估計方法分類 .........................................155
4.7.3典型穩像算法的設計與實現...............................................156
4.7.4多算法協同與系統調度機制...............................................158
4.7.5穩像系統的評估方法與實驗設計 ...........................................161
4.8小結 .......................................................................164
第 5章無人機智能計算的輕量化神經網絡模型.....................................165
5.1引言 .......................................................................165
5.2輕量化神經網絡結構設計 .................................................. 166
5.2.1經典輕量化神經網絡模型 ................................................ 166
5.2.2基於輪廓約束的輕量化神經網絡優化 .......................................171
5.3模型剪枝與量化 ........................................................... 173
5.3.1經典的模型剪枝與量化方法...............................................174
5.3.2基於進化算法的動態剪枝方法 .............................................180
5.3.3動態剪枝方法的優勢與挑戰...............................................182
5.4剪枝的相關理論 ........................................................... 183
5.4.1剪枝的必要性分析 ...................................................... 183
5.4.2剪枝問題的數學模型構建 ................................................ 184
5.4.3剪枝方法的評判標準 .................................................... 186
5.4.4剪枝框架 .............................................................. 188
5.4.5實驗數據集 ............................................................ 191
5.5網絡結構降約束優化框架 .................................................. 196
5.5.1結構降約束框架設計 .................................................... 197
5.5.2約束強度分配 .......................................................... 197
5.6知識蒸餾與模型壓縮 ....................................................... 200
5.6.1經典的知識蒸餾方法 .................................................... 201
5.6.2多模態特征蒸餾技術 .................................................... 208
5.7端到端目標檢測框架的設計 ................................................ 211
5.7.1單階段目標檢測框架 .................................................... 212
5.7.2雙階段目標檢測框架 .................................................... 217
5.7.3 Transformer-based目標檢測框架 ......................................... 223
5.7.4框架對比與選型原則 .................................................... 225
5.8小結 .......................................................................229
第 6章無人機嵌入式智能計算系統 ................................................ 231
6.1引言 .......................................................................231
6.2 STM32嵌入式平臺 ........................................................ 232
6.2.1 STM32嵌入式系統架構 ................................................. 232
6.2.2實時任務調度與功耗優化 ................................................ 237
6.3基於 FPGA/GPU的加速技術 ............................................. 240
6.3.1 FPGA並行加速實現 ....................................................240
6.3.2 GPU計算資源分配優化 ................................................. 254
6.4多無人機協同感知系統.....................................................261
6.4.1背景與系統架構 ........................................................ 262
6.4.2協同任務建模與分配機制 ................................................ 265
6.4.3多源感知數據融合方法 .................................................. 266
6.4.4通信協同與鏈路調度 .................................................... 268
6.4.5協同飛行與軌跡優化 .................................................... 270
6.4.6實時感知與邊緣計算部署 ................................................ 271
6.4.7系統評估指標與實驗設計 ................................................ 273
6.5小結 .......................................................................274
第 7章無人機 SAR運動艦船目標檢測應用實例 .................................. 276
7.1引言 .......................................................................276
7.2運動艦船的 SAR平臺模型 .................................................278
7.3面向低比特距離壓縮 SAR數據域的運動艦船目標檢測 ..................... 281
7.3.1運動艦船目標檢測 ...................................................... 281
7.3.2基於距離壓縮域的運動目標參數估計 .......................................284
7.4低比特 SAR數據的運動艦船目標重聚焦 ................................... 286
7.4.1運動目標重聚焦方法 .................................................... 286
7.4.2非凸優化與稀疏性增強 .................................................. 289
7.5實驗結果與分析 ........................................................... 291
7.5.1仿真數據實驗 .......................................................... 292
7.5.2真實數據實驗 .......................................................... 295
7.5.3小結 .................................................................. 299
參考文獻 ............................................................................ 300