復雜環境下的多模態融合感知理論與應用
沈瑜,楊軍
- 出版商: 科學出版
- 出版日期: 2026-08-01
- 售價: $654
- 語言: 簡體中文
- 頁數: 170
- ISBN: 7030865731
- ISBN-13: 9787030865731
-
相關分類:
Computer Vision、影像辨識 Image-recognition、DeepLearning
下單後立即進貨 (約4週~6週)
相關主題
商品描述
隨著人工智能技術的飛速發展,多模態融合感知與檢測已成為深度學習領域極具挑戰性與應用前景的研究熱點。本書聚焦紅外與可見光圖像融合及目標檢測這兩大核心任務,深入探討如何利用深度學習技術解決復雜環境下的視覺理解難題。
本書的研究工作緊密結合國家與地方重大科研需求,相關理論與算法在多個項目中得到深度應用與驗證。書中不僅闡述多模態融合感知的前沿技術,還針對軌道異物侵限檢測、小目標車輛識別等典型應用場景提供翔實的實驗數據與工程落地參考。
本書的研究工作緊密結合國家與地方重大科研需求,相關理論與算法在多個項目中得到深度應用與驗證。書中不僅闡述多模態融合感知的前沿技術,還針對軌道異物侵限檢測、小目標車輛識別等典型應用場景提供翔實的實驗數據與工程落地參考。
目錄大綱
目錄
前言
上篇 基礎理論篇
第1章 緒論 3
1.1 研究背景 3
1.2 研究意義 5
參考文獻 6
第2章 相關基礎理論 8
2.1 相關術語與名詞解釋 8
2.1.1 多模態與融合基礎術語 8
2.1.2 圖像結構、顯著性與統計特性 9
2.1.3 特征空間、深度學習網絡模型 9
2.1.4 目標檢測與定位 11
2.2 數字圖像處理基礎理論 11
2.2.1 紅外與可見光圖像 11
2.2.2 圖像預處理與特征變換方法 13
2.2.3 圖像質量評價指標 21
2.3 深度學習理論基礎 25
2.3.1 神經網絡基本結構 25
2.3.2 神經網絡的訓練 28
2.3.3 典型神經網絡 31
參考文獻 34
第3章 圖像融合 38
3.1 紅外與可見光圖像融合的技術本質 38
3.2 跨模態融合需解決的關鍵技術問題 39
3.2.1 模態差異導致的空間對齊問題 39
3.2.2 模態間信息分布差異與特征權重選擇問題 39
3.3 傳統融合方法 40
3.3.1 像素級融合方法 40
3.3.2 基於變換域的融合方法 41
3.3.3 基於統計特性的融合方法 44
3.4 基於深度學習的融合方法 45
3.4.1 基於卷積神經網絡的圖像融合方法 45
3.4.2 基於生成對抗網絡的圖像融合方法 47
3.4.3 基於Transformer結構的圖像融合方法 50
參考文獻 52
第4章 目標檢測 54
4.1 目標檢測系統框架 54
4.1.1 單階段與雙階段目標檢測器 56
4.1.2 非極大值抑制 57
4.2 目標檢測的技術本質 58
4.3 目標檢測關鍵技術 58
4.3.1 多尺度特征學習 58
4.3.2 上下文信息利用 60
4.4 檢測性能與評價指標 62
4.4.1 精確率與召回率 62
4.4.2 平均精度 63
4.4.3 平均召回率 63
4.4.4 FPS與模型推理效率指標 63
4.5 典型目標檢測網絡 64
4.5.1 Faster R?CNN 64
4.5.2 YOLO 66
4.5.3 DETR 67
參考文獻 69
下篇 應用研究篇
第5章 基於變換域PCNN的近紅外與彩色可見光融合 73
5.1 研究背景 73
5.2 融合模型 74
5.2.1 融合算法 74
5.2.2 CSC顏色校正 77
5.3 實驗結果與分析 78
5.4 結論 80
參考文獻 80
第6章 基於混合模型驅動的紅外與可見光圖像融合 82
6.1 研究背景 82
6.1.1 紅外與可見光成像互補性與融合目標 82
6.1.2 現有技術範式及其局限性分析 83
6.1.3 混合模型驅動思想:分解—定制融合—重建的必要性 84
6.2 融合模型 86
6.2.1 混合模型驅動的多層次分解框架 86
6.2.2 顯著子帶融合 88
6.2.3 基礎子帶低頻系數融合 89
6.2.4 基礎子帶高頻系數融合 91
6.3 實驗結果與分析 91
6.3.1 參數設置 91
6.3.2 可行性分析 92
6.3.3 有效性分析 94
6.4 結論 97
參考文獻 97
第7章 基於N?RGAN模型的紅外與可見光圖像融合 99
7.1 研究背景 99
7.2 融合模型 103
7.2.1 模型理論基礎 103
7.2.2 N?RGAN總體融合框架 106
7.2.3 高頻子帶融合策略 108
7.2.4 低頻子帶融合策略 111
7.2.5 損失函數設計 111
7.3 實驗結果與分析 114
7.3.1 實驗設置 114
7.3.2 主觀視覺評價分析 114
7.3.3 客觀定量評價分析 115
7.4 結論 117
參考文獻 118
第8章 雙向特征融合與聚焦損失的軌道異物侵限檢測 120
8.1 研究背景 120
8.2 融合模型 121
8.2.1 網絡整體架構 121
8.2.2 GhostNet特征提取網絡 122
8.2.3 基於無參註意力機制的雙向特征融合結構 122
8.2.4 損失函數設計 123
8.2.5 數據與模型配置 124
8.3 實驗結果與分析 124
8.3.1 復雜環境下的單類別目標侵限檢測 124
8.3.2 復雜環境下的多類別目標侵限檢測 125
8.3.3 本章模型與異物侵限模型性能對比 126
8.3.4 本章模型與主流模型的性能對比 126
8.3.5 S?GhostNet有效性驗證 127
8.3.6 Sim?DFPN有效性驗證 127
8.3.7 Focaler?EIoU有效性驗證 128
8.4 結論 129
參考文獻 129
第9章 動態感知與特征增強的軌道異物檢測 132
9.1 研究背景 132
9.2 融合模型 135
9.2.1 RF?IB整體結構 135
9.2.2 反向瓶頸模塊 135
9.2.3 特征重用模塊 137
9.2.4 自適應上采樣模塊 138
9.2.5 Anchor?free網絡 139
9.2.6 損失函數設計 139
9.2.7 異物侵限區域劃分 140
9.3 實驗結果與分析 142
9.3.1 數據采集 142
9.3.2 評價指標 143
9.3.3 不同光照條件下多目標侵限檢測實驗 144
9.3.4 目標運動條件下侵限檢測實驗 146
9.3.5 模型檢測效果綜合性能分析 148
9.3.6 模型魯棒性實驗分析 149
9.3.7 特征重用模塊對比實驗 151
9.3.8 整體消融實驗分析 152
9.4 結論 153
參考文獻 153
第10章 基於感知增強與多尺度融合的小目標車輛檢測 156
10.1 研究背景 156
10.2 融合模型 157
10.2.1 Swin Transformer網絡 158
10.2.2 改進的Swin Transformer主幹網絡 158
10.2.3 空間局部特征感知塊 159
10.2.4 多尺度特征融合網絡 160
10.2.5 Anchor?free機制 163
10.3 實驗結果與分析 163
10.3.1 數據集和評價指標 163
10.3.2 平臺及參數設置 164
10.3.3 不同模型間的對比實驗 164
10.3.4 車輛目標預測結果 165
10.3.5 消融實驗 167
10.4 結論 168
參考文獻 168
彩圖
前言
上篇 基礎理論篇
第1章 緒論 3
1.1 研究背景 3
1.2 研究意義 5
參考文獻 6
第2章 相關基礎理論 8
2.1 相關術語與名詞解釋 8
2.1.1 多模態與融合基礎術語 8
2.1.2 圖像結構、顯著性與統計特性 9
2.1.3 特征空間、深度學習網絡模型 9
2.1.4 目標檢測與定位 11
2.2 數字圖像處理基礎理論 11
2.2.1 紅外與可見光圖像 11
2.2.2 圖像預處理與特征變換方法 13
2.2.3 圖像質量評價指標 21
2.3 深度學習理論基礎 25
2.3.1 神經網絡基本結構 25
2.3.2 神經網絡的訓練 28
2.3.3 典型神經網絡 31
參考文獻 34
第3章 圖像融合 38
3.1 紅外與可見光圖像融合的技術本質 38
3.2 跨模態融合需解決的關鍵技術問題 39
3.2.1 模態差異導致的空間對齊問題 39
3.2.2 模態間信息分布差異與特征權重選擇問題 39
3.3 傳統融合方法 40
3.3.1 像素級融合方法 40
3.3.2 基於變換域的融合方法 41
3.3.3 基於統計特性的融合方法 44
3.4 基於深度學習的融合方法 45
3.4.1 基於卷積神經網絡的圖像融合方法 45
3.4.2 基於生成對抗網絡的圖像融合方法 47
3.4.3 基於Transformer結構的圖像融合方法 50
參考文獻 52
第4章 目標檢測 54
4.1 目標檢測系統框架 54
4.1.1 單階段與雙階段目標檢測器 56
4.1.2 非極大值抑制 57
4.2 目標檢測的技術本質 58
4.3 目標檢測關鍵技術 58
4.3.1 多尺度特征學習 58
4.3.2 上下文信息利用 60
4.4 檢測性能與評價指標 62
4.4.1 精確率與召回率 62
4.4.2 平均精度 63
4.4.3 平均召回率 63
4.4.4 FPS與模型推理效率指標 63
4.5 典型目標檢測網絡 64
4.5.1 Faster R?CNN 64
4.5.2 YOLO 66
4.5.3 DETR 67
參考文獻 69
下篇 應用研究篇
第5章 基於變換域PCNN的近紅外與彩色可見光融合 73
5.1 研究背景 73
5.2 融合模型 74
5.2.1 融合算法 74
5.2.2 CSC顏色校正 77
5.3 實驗結果與分析 78
5.4 結論 80
參考文獻 80
第6章 基於混合模型驅動的紅外與可見光圖像融合 82
6.1 研究背景 82
6.1.1 紅外與可見光成像互補性與融合目標 82
6.1.2 現有技術範式及其局限性分析 83
6.1.3 混合模型驅動思想:分解—定制融合—重建的必要性 84
6.2 融合模型 86
6.2.1 混合模型驅動的多層次分解框架 86
6.2.2 顯著子帶融合 88
6.2.3 基礎子帶低頻系數融合 89
6.2.4 基礎子帶高頻系數融合 91
6.3 實驗結果與分析 91
6.3.1 參數設置 91
6.3.2 可行性分析 92
6.3.3 有效性分析 94
6.4 結論 97
參考文獻 97
第7章 基於N?RGAN模型的紅外與可見光圖像融合 99
7.1 研究背景 99
7.2 融合模型 103
7.2.1 模型理論基礎 103
7.2.2 N?RGAN總體融合框架 106
7.2.3 高頻子帶融合策略 108
7.2.4 低頻子帶融合策略 111
7.2.5 損失函數設計 111
7.3 實驗結果與分析 114
7.3.1 實驗設置 114
7.3.2 主觀視覺評價分析 114
7.3.3 客觀定量評價分析 115
7.4 結論 117
參考文獻 118
第8章 雙向特征融合與聚焦損失的軌道異物侵限檢測 120
8.1 研究背景 120
8.2 融合模型 121
8.2.1 網絡整體架構 121
8.2.2 GhostNet特征提取網絡 122
8.2.3 基於無參註意力機制的雙向特征融合結構 122
8.2.4 損失函數設計 123
8.2.5 數據與模型配置 124
8.3 實驗結果與分析 124
8.3.1 復雜環境下的單類別目標侵限檢測 124
8.3.2 復雜環境下的多類別目標侵限檢測 125
8.3.3 本章模型與異物侵限模型性能對比 126
8.3.4 本章模型與主流模型的性能對比 126
8.3.5 S?GhostNet有效性驗證 127
8.3.6 Sim?DFPN有效性驗證 127
8.3.7 Focaler?EIoU有效性驗證 128
8.4 結論 129
參考文獻 129
第9章 動態感知與特征增強的軌道異物檢測 132
9.1 研究背景 132
9.2 融合模型 135
9.2.1 RF?IB整體結構 135
9.2.2 反向瓶頸模塊 135
9.2.3 特征重用模塊 137
9.2.4 自適應上采樣模塊 138
9.2.5 Anchor?free網絡 139
9.2.6 損失函數設計 139
9.2.7 異物侵限區域劃分 140
9.3 實驗結果與分析 142
9.3.1 數據采集 142
9.3.2 評價指標 143
9.3.3 不同光照條件下多目標侵限檢測實驗 144
9.3.4 目標運動條件下侵限檢測實驗 146
9.3.5 模型檢測效果綜合性能分析 148
9.3.6 模型魯棒性實驗分析 149
9.3.7 特征重用模塊對比實驗 151
9.3.8 整體消融實驗分析 152
9.4 結論 153
參考文獻 153
第10章 基於感知增強與多尺度融合的小目標車輛檢測 156
10.1 研究背景 156
10.2 融合模型 157
10.2.1 Swin Transformer網絡 158
10.2.2 改進的Swin Transformer主幹網絡 158
10.2.3 空間局部特征感知塊 159
10.2.4 多尺度特征融合網絡 160
10.2.5 Anchor?free機制 163
10.3 實驗結果與分析 163
10.3.1 數據集和評價指標 163
10.3.2 平臺及參數設置 164
10.3.3 不同模型間的對比實驗 164
10.3.4 車輛目標預測結果 165
10.3.5 消融實驗 167
10.4 結論 168
參考文獻 168
彩圖





