計算機視覺三維測量與建模

基於電腦視覺的三維空間數據獲取和處理技術正處在一個蓬勃發展的時期，相關的三維測量與建模的研究成果被廣泛地應用於各個行業領域中。與數字圖像處理技術相比，電腦視覺三維測量與建模技術更關註觀測場景的空間幾何結構信息和傳感器載體的位置姿態信息。它利用射影幾何、線性代數和數值優化等理論，從二維影像數據中恢復重建出三維空間結構信息和傳感器的位置姿態數據，使觀測者能夠獲得目標對象的三維物理尺寸數據以及攝像機等傳感器的位置姿態關系。此外，三維點雲的數據形式近年來受到越來越多的關註，許多應用問題的解決方法都從二維影像處理過渡到三維點雲處理。本書介紹攝像機成像的基本數學模型，分析攝像機的標定原理、影像的特徵提取與匹配算法、由運動恢復結構的理論和流程，以及由立體視覺重建稠密三維點雲的方法。此外，本書進一步延伸到圖形學幾何建模的相關知識，介紹三維點雲的空間濾波理論和錶面網格化的建模方法。書中包含著者多年的學習和實踐積累，可以為讀者提供電腦視覺相關的三維數據獲取與處理的理論和技術參考。本書既可以作為高等院校電腦視覺、攝影測量與遙感和電子信息工程等相關專業的研究生或高年級本科生的參考教材，又可以作為針對三維數據處理進行研究的學者和科研人員的參考書，同時可供工業從業者和決策者參考閱讀。

目 錄
第1章 緒 論 1
1.1 數字影像 2
1.1.1 數字影像概念 2
1.1.2 常見的影像類型 3
1.1.3 空間域和頻率域處理 4
1.2 射影幾何學基礎 5
1.2.1 射影幾何意義 5
1.2.2 射影變換 5
1.2.3 二維射影空間 6
1.2.4 三維射影空間 8
1.2.5 二維仿射變換 9
1.2.6 幾何元素的分層表達 10
1.3 歐氏空間坐標轉換 11
1.3.1 二維坐標轉換 11
1.3.2 三維坐標轉換 12
1.4 成像模型與成像系統中的坐標系 14
1.4.1 成像模型中的幾何元素 14
1.4.2 成像系統中的坐標系 15
1.4.3 透視投影成像模型 16
1.5 常見的三維成像方式 19
1.5.1 人工輸入方法 20
1.5.2 主動式掃描方法 20
1.5.3 被動式掃描方法 23
1.6 三維電腦視覺的應用 24
1.6.1 三維電腦視覺測量的應用領域 24
1.6.2 三維電腦視覺測量系統的常見技術指標參數 25
1.6.3 三維電腦視覺與攝影測量的關系 26
1.6.4 三維電腦視覺測量面臨的問題 26
1.7 小結 27
參考文獻 27
第2章 攝像機的幾何標定 30
2.1 攝像機標定參數 30
2.1.1 內參數 30
2.1.2 外參數 32
2.1.3 標定方法分類 32
2.2 攝像機內參數標定 33
2.2.1 直接線性變換法 33
2.2.2 Tsai1987標定方法 36
2.2.3 Zhang1999標定方法 37
2.3 靜態場景多視角下攝像機系統的自標定 39
2.3.1 基礎矩陣 39
2.3.2 度量自標定 41
2.3.3 基於滅點的自標定方法 44
2.4 攝像機系統的半自動標定 45
2.4.1 標定裝置 46
2.4.2 自動提取角點 46
2.4.3 人工靶標標志 47
2.5 攝像機與激光雷達的聯合標定 49
2.5.1 多源融合的意義 49
2.5.2 時空配準 50
2.5.3 攝像機與激光雷達的聯合標定 50
2.6 應用舉例 52
2.6.1 標定工具箱 52
2.6.2 多源傳感器聯合標定 53
2.7 小結 54
參考文獻 55
第3章 影像特徵提取表達 58
3.1 影像特徵的基本概念 58
3.1.1 特徵表達形式 58
3.1.2 像素特徵的基本要求 59
3.1.3 鄰域範圍 59
3.2 邊緣和線特徵提取 60
3.2.1 梯度算子 61
3.2.2 Canny邊緣檢測 64
3.2.3 Snake邊緣提取 65
3.2.4 霍夫變換檢測直線 66
3.3 點特徵提取 67
3.3.1 Harris角點 67
3.3.2 FAST角點 69
3.3.3 SIFT特徵提取 70
3.3.4 SURF特徵提取 74
3.3.5 ORB特徵檢測 77
3.3.6 AKAZE特徵檢測 78
3.3.7 Lucas-Kanade光流算法 79
3.3.8 捲積神經網絡特徵提取 81
3.4 紋理特徵表達 82
3.4.1 紋理的概念 82
3.4.2 紋理特徵類型 83
3.4.3 紋理特徵應用舉例 85
3.5 應用舉例 86
3.5.1 目標跟蹤 86
3.5.2 全景拼接 86
3.6 小結 87
參考文獻 88
第4章 由運動恢復結構 90
4.1 對極幾何 90
4.1.1 極線與極點 90
4.1.2 基礎矩陣 92
4.1.3 本質矩陣 93
4.2 影像的單應變換 94
4.2.1 投影矩陣和影像單應矩陣之間的關系 94
4.2.2 基礎矩陣和影像單應矩陣之間的關系 95
4.3 求解二視圖的基礎矩陣 96
4.3.1 八點算法 96
4.3.2 七點算法 98
4.3.3 魯棒算法 98
4.3.4 退化情況 100
4.3.5 三視圖和四視圖幾何計算 100
4.4 攝像機位置姿態和場景結構恢復 101
4.4.1 初始化影像位置姿態和場景結構 101
4.4.2 由本質矩陣提取攝像機矩陣 102
4.4.3 更新結構和位置姿態 104
4.4.4 PnP問題 105
4.5 光束法平差 105
4.5.1 光束法平差模型 105
4.5.2 最小二乘原理 107
4.5.3 高斯?牛頓算法 107
4.5.4 列文伯格?馬奎特算法 108
4.5.5 光束法平差的LM算法模型 109
4.5.6 稀疏光束法平差 109
4.6 應用舉例 111
4.7 小結 113
參考文獻 113
第5章 雙目立體視覺 116
5.1 標準形式的雙目系統 116
5.2 匹配基礎 117
5.2.1 立體影像極線校正 117
5.2.2 匹配預處理 119
5.2.3 視差圖原理 120
5.3 傳統立體匹配算法 121
5.3.1 局部窗口匹配算法 121
5.3.2 匹配代價度量 122
5.3.3 代價聚合與視差計算 123
5.3.4 視差圖後處理 124
5.3.5 動態規劃法 125
5.3.6 半全局優化匹配算法 127
5.4 圖割優化匹配算法 128
5.4.1 匹配問題中的馬爾可夫模型 129
5.4.2 圖割求解算法 129
5.4.3 超像素分割 132
5.4.4 高階馬爾可夫模型匹配算法 134
5.4.5 實驗比較 135
5.5 結構光三維掃描 136
5.5.1 結構光三維掃描基本原理 136
5.5.2 二進制編碼和灰度編碼 139
5.5.3 相移法編碼 139
5.5.4 混合方式：相移法+灰度碼投影 141
5.5.5 其他編碼模式 142
5.5.6 編碼模式的比較 144
5.6 立體視覺標定 144
5.6.1 攝像機標定 145
5.6.2 投影儀標定 145
5.6.3 系統參數對精度的影響 146
5.7 應用舉例 147
5.8 小結 149
參考文獻 150
第6章 點雲濾波與分割 152
6.1 採樣點雲特性 152
6.1.1 點雲質量問題 152
6.1.2 點雲數據組織和查詢 153
6.2 點雲濾波增強 155
6.2.1 點雲的法向量估計 155
6.2.2 點雲去噪一般方法 158
6.2.3 基於統計學的異常值檢測 160
6.2.4 局部優化投影採樣 160
6.2.5 密度加權局部優化投影採樣 162
6.3 點雲超體素分割 164
6.3.1 超體素 164
6.3.2 簡單迭代分割方法 165
6.3.3 體素雲連接性分割 166
6.3.4 評價指標 168
6.4 目標級別分割 169
6.4.1 目標分割引言 169
6.4.2 基於底層特徵的分割 169
6.4.3 基於模型擬合的分割 170
6.4.4 基於深度學習的分割 173
6.5 小結 178
參考文獻 179
第7章 點雲特徵提取和三維配準 183
7.1 點雲特徵提取 183
7.1.1 點的法向量和曲率特徵 184
7.1.2 點特徵直方圖 184
7.1.3 快速點特徵直方圖 186
7.1.4 三維Harris特徵 187
7.1.5 面向深度學習網絡的特徵 188
7.2 點雲精配準 188
7.2.1 迭代最鄰近點算法 188
7.2.2 迭代最鄰近點算法拓展 190
7.2.3 正態分佈變換算法 192
7.2.4 正態分佈變換算法拓展 196
7.3 點雲粗配準 198
7.3.1 簡單搜索 198
7.3.2 四點一致集4PCS搜索 198
7.3.3 4PCS拓展 200
7.3.4 基於深度學習的粗配準 201
7.4 異源三維數據的配準融合 204
7.4.1 RGBD深度圖的配準融合 204
7.4.2 普適的有色點雲配準方案 204
7.5 應用舉例 205
7.5.1 兩組點雲配準 205
7.5.2 多組數據配準的誤差累計 206
7.5.3 柔性目標的配準 207
7.6 小結 208
參考文獻 208
第8章 三維錶面建模與網格模型濾波 211
8.1 三維錶面網格模型 212
8.1.1 網格數據存儲 212
8.1.2 建模算法的分類 215
8.1.3 可視化渲染 216
8.1.4 海量數據的壓縮 218
8.2 顯式建模方法 219
8.2.1 數據的凸包 219
8.2.2 狄洛尼三角剖分 220
8.2.3 阿爾法形狀模型 224
8.3 隱式建模方法 224
8.3.1 隱函數基本思想 225
8.3.2 徑向基函數重建 226
8.3.3 移動最小二乘重建 228
8.3.4 泊松錶面重建 230
8.3.5 基於行進立方體提取網格 232
8.4 模型網格濾波去噪 234
8.4.1 網格的雙邊濾波 234
8.4.2 法向量引導濾波 236
8.5 應用舉例 238
8.5.1 三維建模 238
8.5.2 網格濾波處理 239
8.6 小結 241
參考文獻 242