機器人三維視覺技術原理與應用

第1章機器人三維視覺成像技術 001

1.1立體視覺技術 002 1.1.1系統標定 002

1.1.2立體匹配 004

1.1.3三維點重建 006

1.2結構光技術 007

1.2.1基於相移法的結構光技術 007

1.2.2基於格雷碼法的結構光技術 010

1.2.3基於散斑法的結構光技術 014

1.3線激光掃描三維成像技術 015

1.3.1系統的標定 016

1.3.2激光輪廓中心線的提取 018

1.4激光雷達三維成像技術 019

1.4.1直接脈沖飛行時間測量法 019

1.4.2幅度調制連續波測量法 020

1.4.3頻率調制連續波測量法 021

1.4.4激光雷達的掃描方式 021

1.5 3D 點雲和2D 圖像的融合成像技術 022

參考文獻 024

第2章操作臂運動學 026

2.1位姿描述和齊次變換 026

2.1.1位姿描述 027

2.1.2齊次變換 029

2.1.3歐拉角與旋轉變換 029

2.2操作臂正運動學 032

2.2.1連桿參數 032

2.2.2連桿變換 033

2.2.3操作臂正運動學方程 035

2.3操作臂逆運動學 038

2.3.1幾何解法 039

2.3.2代數解法 039

2.4操作臂的速度雅可比矩陣與微分運動 043

2.4.1雅可比矩陣 043

2.4.2速度雅可比矩陣 045

2.4.3伴隨矩陣 047

2.4.4微分運動 049

2.5剛體運動的四元數表達 052

2.5.1剛體運動 052

2.5.2雙四元數 054

2.6本章小結 055

參考文獻 055

第3章機器人視覺系統標定與誤差補償 057

3.1單機器人測量-作業系統的誤差傳遞建模 057

3.1.1作業系統運動鏈構建 058

3.1.2曲面作業誤差定義 059

3.1.3運動學誤差模型 061

3.1.4關節剛度誤差模型 062

3.1.5工件/工具誤差傳遞模型 064

3.2機器人手眼標定 065

3.2.1標定物坐標系建立 066

3.2.2目標函數為AX＝XB 的手眼標定 067

3.2.3目標函數為AX＝YB 的手眼標定 069

3.3單機器人系統運動學誤差辨識與補償 071

3.3.1機器人運動學誤差以及手眼誤差建模 071

3.3.2運動學誤差與手眼誤差辨識 074

3.3.3非標準旋轉矩陣很好正交化計算 075

3.4雙機器人測量系統同步標定 077

3.4.1雙機器人測量-作業系統標定模型建立 077

3.4.2姿態轉換矩陣求解——封閉式同步求解方法 078

3.4.3姿態轉換矩陣求解——數值疊代求解方法 082

3.5雙機器人系統誤差辨識與補償 086

3.5.1誤差源分析建模 086

3.5.2誤差辨識與推導 087

3.5.3位姿誤差補償模型 088

3.6本章小結 091

參考文獻 091

第4章機器人測量路徑規劃 092

4.1測量掃描儀可視錐模型 092

4.1.1球籠型三維掃描儀可視錐模型 092

4.1.2三維面結構光掃描儀可視錐模型 093

4.2基於先驗模型的視點規劃 095

4.2.1基於先驗模型表面采樣與候選視點集的生成 095

4.2.2候選視點評估 097

4.3無模型視點規劃 098

4.3.1基於體素模型效益函數的視點規劃 098

4.3.2基於體素信息增益度量的視點規劃 100

4.3.3基於曲面邊界的視點規劃 104

4.4機器學習視點規劃 106

4.4.1基於深度學習的視點規劃方法 106

4.4.2基於深度強化學習的視點規劃方法 110

4.5測量路徑規劃模型 115

4.5.1基於捕食者-獵物的面陣掃描儀覆蓋路徑規劃方法 115

4.5.2基於蟻群算法的面陣掃描儀覆蓋路徑規劃方法 117

4.6本章小結 118

參考文獻 118

第5章多視角點雲配準 120

5.1點雲及配準的基本概念 120

5.1.1點雲數據采集 120

5.1.2點雲配準概述 121

5.2全局粗配準 123

5.2.1點雲特征提取 123

5.2.2點雲特征匹配及位姿解算 126

5.3基於疊代最近點（ICP）的點雲配準 127

5.3.1點雲配準數學基礎 127

5.3.2ICP 129 5.3.3點面ICP 130

5.3.4GICP 131 5.3.5VGICP 134

5.4基於神經網絡的點雲配準 136

5.4.1點雲特征提取網絡 137

5.4.2點雲配準網絡 139

5.5多視角點雲配準 145

5.5.1問題定義 145

5.5.2基於成對點雲配準的多視角點雲配準 145

5.5.3基於概率模型的多視角點雲配準

146 5.5.4基於深度學習的多視角點雲配準

149 5.6本章小結 153

參考文獻 153

第6章三維點雲數據處理 155

6.1點雲精簡與點雲下采樣 155

6.1.1概述 155

6.1.2隨機下采樣 156

6.1.3體素下采樣 157

6.1.4均勻下采樣 159

6.1.5曲率下采樣 161

6.2點雲光順與點雲去噪 163

6.2.1概述 163

6.2.2點雲半徑濾波 165

6.2.3點雲統計濾波 167

6.2.4局部異常因子LOF 168

6.2.5聚類法點雲去噪 170

6.2.6點雲平滑濾波 172

6.2.7點雲拉普拉斯濾波 174

6.2.8點雲雙邊濾波 175

6.2.9基於移動最小二乘的點雲光順 178

6.2.10RIMLS 179

6.3本章小結 182

參考文獻 182

第7章三維目標檢測 184

7.1基於點雲的三維目標檢測方法 185

7.1.1基於點的三維目標檢測方法 186

7.1.2基於網格的三維目標檢測方法 197

7.1.3基於點-體素融合的三維目標檢測方法 205

7.2基於圖像的三維目標檢測方法 209

7.2.1基於單目圖像的三維目標檢測方法 210

7.2.2基於多視圖的三維目標檢測方法 216

7.3基於點雲-圖像多模態融合的三維目標檢測方法 221

7.3.1前期融合 222

7.3.2特征融合 224

7.3.3後期融合 228

7.4本章小結 230

參考文獻 231

第8章應用實例介紹 234

8.1視覺引導的機器人上下料 234

8.1.1硬件組成及系統標定 234

8.1.2視覺定位 235

8.1.3機器人抓取路徑規劃 239

8.2視覺引導的機器人等離子坡口切割 241

8.2.1視覺引導的機器人坡口系統設計 242

8.2.2機器人坡口系統關鍵幾何參數整體優化 243

8.2.3基於坡口特征準確識別的機器人切割路徑補償 246

8.2.4機器人高精度坡口尋位軟件開發與應用 250

8.3大型薄壁蒙皮機器人銑削切邊 253

8.3.1蒙皮加工關鍵技術 253

8.3.2刀具軌跡生成與光順優化 253

8.3.3多約束下機器人姿態優化 258

8.3.4蒙皮銑削加工案例 262

8.4航空葉片機器人三維視覺檢測 263

8.4.1機器人測量系統手眼標定 264

8.4.2機器人測量位姿規劃 265

8.4.3航空葉片截面特征參數提取 267

8.4.4航空葉片截面特征參數軟件 270

8.5移動機器人雙目視覺慣性SLAM 272

8.5.1數據預處理 273 8.5.2初始化 275

8.5.3基於滑動窗口的局部BA 優化 276

8.5.4回環檢測 278

8.5.5實驗驗證 278

參考文獻 280