增強現實算法基礎

本書是一本講述增強現實基本原理和算法的教材。全書共分為11章。首先介紹增強現實基本模型和原理、空間變換與相機模型。然後介紹增強現實所必需的空間註冊與跟蹤算法，包括基於平面標志的方法、基於3D點跟蹤的方法、視頻序列跟蹤及有限重建方法等。在此基礎上，講解了增強現實中的虛實融合技術和空間增強現實技術，包括虛擬物體的繪制、虛實物體間的遮擋處理、光照環境的恢復、陰影的生成及圖像融合。最後簡單介紹增強現實環境中的人機交互技術。 本書的特點是： 針對增強現實中主要原型的基礎算法進行介紹，重視基本原理和基本算法的陳述。為了便於復習和提高應變能力，各章都附有習題，並在擴展閱讀部分提供深入學習相關內容的文獻和發展方向。全書力求簡單易懂，基礎全面，便於自學。 本書可作為高等院校相關專業高年級本科生的教材，也可作為從事增強現實領域技術開發的廣大科技工作者自學的入門書籍。

目錄

第1章增強現實概述

1．1增強現實的基本概念

1．2增強現實簡史

1．3增強現實的呈現

1．3．1頭盔顯示器

1．3．2智能眼鏡

1．3．3屏幕穿透式顯示器

1．3．4空間增強現實

1．3．5遙在

1．4增強現實應用

1．4．1教育與培訓

1．4．2醫療

1．4．3軍事

1．4．4智能製造

1．4．5市場營銷

1．4．6娛樂游戲

1．4．7通信

1．5增強現實與虛擬現實

擴展閱讀

習題

第2章空間變換與相機模型

2．1增強現實中的空間

2．1．1空間坐標系

2．1．2空間關系的表示

2．1．3增強現實環境的坐標系

2．2空間變換與坐標變換

2．2．1剛體變換

2．2．2空間線性變換及對應矩陣

2．3相機的幾何模型

2．3．1針孔相機模型

2．3．2相機成像模型

2．3．3相機畸變模型

2．4單視圖定標基礎

2．4．1投影矩陣的標定

2．4．2由投影矩陣估計內外部參數

2．4．3相機徑向畸變校正

2．4．4投影儀與相機的校準

擴展閱讀

習題

第3章基於平面標志的空間註冊

3．1系統概述

3．2平面位姿估計

3．2．1單應性矩陣

3．2．2求解單應性矩陣

3．2．3從單應性矩陣分解旋轉和平移

3．3平面標志的檢測

3．4虛擬物體繪制

擴展閱讀

習題

第4章基於3D點的空間註冊

4．13D點定位

4．1．1三角定位法

4．1．2三邊定位法

4．1．3航位推算法

4．1．4攝影測量法

4．2空間變換估計

4．2．1基於3D3D點對應的直接法

4．2．2基於3D3D點對應的剛體運動估計法

4．2．3基於3D2D點對應的方法

4．2．4基於形狀匹配的方法

4．3增強現實中的註冊跟蹤

4．3．1增強現實顯示器的配置

4．3．2虛擬物體註冊

4．3．3增強現實中的空間變換

4．3．4常用傳感器

4．3．5時間延遲問題

4．4註冊跟蹤系統

4．4．1基於傳感器的定位跟蹤

4．4．2基於視覺的定位跟蹤

4．4．3混合定位跟蹤

擴展閱讀

習題

第5章特徵點的檢測與匹配

5．1特徵檢測基本原理

5．1．1角點檢測

5．1．2斑點檢測

5．1．3尺度不變性

5．2特徵匹配基本原理

5．2．1處理像素值變化

5．2．2旋轉不變性

5．3特徵檢測與匹配的代表性方法

5．3．1SIFT特徵

5．3．2SURF特徵

5．3．3ORB特徵

5．4基於特徵點對應的位姿估計

5．4．1魯棒最小二乘

5．4．2隨機採樣一致性算法

5．5連續特徵跟蹤

擴展閱讀

習題

第6章基於視頻序列的空間註冊

6．1雙視圖幾何基礎

6．1．1對極幾何理論

6．1．2基礎矩陣計算

6．1．3投影矩陣計算

6．1．43D稀疏重構

6．2圖像序列的定標

6．2．1由運動恢復結構

6．2．2集束調整

6．2．3定標算法框架

6．2．4相機的實時跟蹤

6．2．5SLAM簡介

6．3空間有限重建

6．3．1有限重建的意義

6．3．2基於體元的重建

6．3．3場景重建的主要方法

6．3．4場景平面檢測

6．4基於多視圖的重建

6．4．1立體視覺原理

6．4．2雙視圖像的正則化

6．4．3稠密點重建

6．4．43D錶面模型

擴展閱讀

習題

第7章虛實融合中的一致性

7．1虛實融合中的一致性概述

7．1．1一致性的條件

7．1．2虛實融合的框架和流程

7．2虛實融合一致性相關的繪制技術

7．2．1真實感光照明模型

7．2．2繪制方程

7．2．3虛擬景物的實時繪制技術

7．2．4陰影生成技術

7．2．5可見性檢測

7．3遮擋處理

7．3．1靜態前景遮擋處理

7．3．2動態前景遮擋處理

7．4空間增強現實介紹

7．4．1投影系統與3D實體的幾何校準

7．4．2投影系統與3D實體的顏色校準

7．4．3在任意錶面上的圖像投射

擴展閱讀

習題

第8章真實場景的光照重建

8．1真實場景光照重建特點

8．1．1室外場景

8．1．2室內場景

8．2基於採集的光照重建方法

8．3基於參數求解的光照重建方法

8．3．1真實場景光照建模

8．3．2基於簡化光照模型的光照參數求解算法

8．3．3較為完善的光照參數求解算法

8．3．4其他光照參數求解方法

擴展閱讀

習題

第9章虛實場景間的光影交互與融合

9．1虛實景物間陰影的交互與融合

9．1．1陰影的概念及作用

9．1．2真實陰影的檢測

9．1．3虛實陰影交互與融合方法

9．2虛實場景鏡面映射效果交互與融合

9．2．1真實場景在虛擬物體錶面上的鏡面映射

9．2．2虛擬物體在真實場景錶面上的鏡面映像

9．2．3虛實場景鏡面映射效果融合方法

擴展閱讀

習題

第10章增強現實中的圖像融合

10．1圖像融合與增強現實

10．2基於摳像合成的圖像融合

10．2．1圖像合成

10．2．2藍幕摳像

10．2．3自然圖像摳像

10．3其他融合方法

10．3．1多分辨率融合

10．3．2基於圖割的融合

10．3．3泊松融合

擴展閱讀

習題

第11章人機交互與應用

11．1AR交互概述

11．1．1人機交互的概念與基本模式

11．1．2人機交互的發展歷史

11．1．3增強現實環境中交互的特點

11．2用戶與虛擬物體的交互

11．2．13D交互

11．2．2虛擬現實的交互設備

11．2．3自然交互

11．3虛擬物體與現實環境的交互

11．3．1實體交互界面

11．3．2標志物驅動的交互

11．3．3虛擬物體在現實中的幾何約束

11．3．4虛擬角色在現實中的語義約束

11．4增強現實的開發平臺

擴展閱讀

習題

參考文獻

附錄A優化方法

A．1線性最小二乘法

A．2齊次線性最小二乘法

A．3高斯牛頓最小二乘法

附錄B旋轉矩陣的優化

附錄CPnP問題的雅可比矩陣

附錄D基礎矩陣的一般性推導

附錄E圖片參考來源