增強現實理論、技術及應用

理 論 篇
第1章 增強現實概念和發展歷史 2
1.1 相關概念介紹 2
1.1.1 虛擬現實 3
1.1.2 增強現實 4
1.1.3 混合現實 6
1.1.4 虛實統一體 7
1.1.5 增強現實與虛擬現實的區別 7
1.1.6 “人-機-環境”關系 9
1.1.7 元宇宙 10
1.2 增強現實呈現手段 11
1.2.1 視覺呈現 12
1.2.2 聽覺呈現 12
1.2.3 觸覺呈現 13
1.2.4 嗅覺和味覺呈現 14
1.3 增強現實應用的發展 14
1.3.1 增強現實用於電視轉播 15
1.3.2 首款增強現實遊戲原型 16
1.3.3 谷歌眼鏡和微軟HoloLens 17
1.4 增強現實關鍵技術 17
1.4.1 位姿跟蹤註冊技術 17
1.4.2 虛實融合呈現技術 18
1.4.3 自然人機交互技術 19
1.5 增強現實應用領域 20
第2章 人類視覺成像基本原理 21
2.1 人眼基本生理結構 21
2.1.1 眼球組織的分層構造解析 21
2.1.2 視覺感知流程 23
2.1.3 視覺感知類型 24
2.1.4 視覺基本概念 26
2.2 人眼立體視覺感知 30
2.2.1 心理立體感知 30
2.2.2 生理立體感知 31
2.3 視覺感知的四個層級 33
2.3.1 傳統平面顯示屏 34
2.3.2 影院式立體眼鏡 34
2.3.3 沈浸式立體顯示 35
2.3.4 光場式立體呈現 37
第3章 視覺三維感知基礎理論 38
3.1 分層射影幾何 38
3.1.1 分層射影幾何基本概念 38
3.1.2 二維射影空間 40
3.1.3 三維射影空間 42
3.2 相機成像模型 43
3.2.1 小孔相機模型 44
3.2.2 圖像的像素化 44
3.2.3 坐標系的變換 45
3.2.4 完整變換過程 45
3.2.5 成像矩陣表示 46
3.3 多視圖幾何理論 47
3.3.1 兩幅圖像的對極幾何關系 47
3.3.2 基本矩陣的估計方法 48
3.3.3 三幅圖像的多焦距張量 49
3.3.4 三焦距張量的估計方法 52
3.4 三維重建與增強現實的關系 53
第4章 光場概念及其研究進展 54
4.1 光場基本概念 54
4.1.1 光場的參數表示 54
4.1.2 光場的四維表示 55
4.1.3 光場的幾何解釋 59
4.1.4 光場的魔盒解釋 60
4.2 光場數據采集 61
4.2.1 基於相機陣列的光場數據采集 61
4.2.2 基於微透鏡陣列的光場數據采集 66
4.2.3 基於編碼掩膜的光場數據采集 73
4.2.4 光場數據采集方案的對比分析 75
4.3 光場數據處理 75
4.3.1 光場數據的可視化處理 75
4.3.2 基於光場數據的重聚焦 77
4.3.3 基於光場數據的深度估計 79
4.4 光場數據顯示 84
4.4.1 體三維顯示 84
4.4.2 多視投影陣列顯示 86
4.4.3 集成成像顯示 88
4.4.4 多層液晶張量光場顯示 89
4.5 光場研究意義 93
4.5.1 理論研究價值 93
4.5.2 潛在的應用領域 94
4.5.3 與增強現實的關系 95
技 術 篇
第5章 增強現實中的三維圖形繪制技術 98
5.1 計算機圖形學基礎 98
5.1.1 基本圖形元素 99
5.1.2 矢量幾何含義 100
5.1.3 幾何拓撲關系 105
5.1.4 幾何實體定義 106
5.2 三維實體模型繪制 107
5.2.1 圖形系統基本組成 107
5.2.2 圖形繪制基本流程 108
5.3 視圖模型變換過程 108
5.3.1 成像過程 108
5.3.2 模型變換 110
5.3.3 投影變換 111
5.3.4 裁剪變換 112
5.3.5 視口變換 112
5.3.6 矩陣堆棧 113
5.4 圖形繪制相關技術 113
5.4.1 紋理映射 113
5.4.2 光照模型 114
5.4.3 視點漫遊 116
5.4.4 GPU加速繪制 117
5.4.5 雲繪制技術 120
5.5 常用圖形開發接口 124
5.5.1 OpenGL 125
5.5.2 Direct3D 125
第6章 增強現實中的位姿跟蹤註冊技術 126
6.1 位姿跟蹤註冊框架 126
6.1.1 對位姿跟蹤的基本要求 126
6.1.2 位姿跟蹤註冊方法 127
6.2 基於視覺的位姿跟蹤技術 128
6.2.1 跟蹤基本流程 128
6.2.2 圖像特征匹配 129
6.2.3 空間位姿解算 130
6.2.4 相關數學算法 131
6.3 基於慣導的位姿跟蹤技術 132
6.3.1 IMU運動模型 133
6.3.2 IMU預積分 133
6.4 其他位姿跟蹤技術 134
6.4.1 基於衛星的位置跟蹤 134
6.4.2 基於實時動態定位技術的位置跟蹤 135
6.4.3 基於超寬帶技術的位置跟蹤 136
6.5 多傳感器融合跟蹤技術 139
第7章 增強現實中的虛實融合呈現技術 141
7.1 近眼光學微顯示技術 142
7.1.1 液晶顯示技術 143
7.1.2 矽基液晶顯示技術 144
7.1.3 有機發光二極管顯示技術 146
7.1.4 數字光處理技術 147
7.1.5 微型有機電激光顯示技術 150
7.1.6 微發光二極管顯示技術 151
7.1.7 其他光學顯示技術 153
7.2 近眼光路組合技術 154
7.2.1 棱鏡光路技術 155
7.2.2 Birdbath光路技術 155
7.2.3 自由曲面反射鏡光路技術 157
7.2.4 自由曲面棱鏡光路技術 157
7.2.5 光波導技術 159
7.3 環境光自適應控制技術 166
7.3.1 環境光感知技術 166
7.3.2 電致變色技術 168
7.4 近眼顯示系統相關問題 170
7.4.1 光學轉換效率 170
7.4.2 移動時間延遲 170
7.4.3 雜散光影響 171
7.4.4 視覺舒適性 171
第8章 增強現實中的自然人機交互技術 173
8.1 多模態人機交互框架設計 173
8.2 基於語音識別的人機交互技術 174
8.2.1 研究及應用場景 175
8.2.2 端到端語音識別 176
8.2.3 無聲語音識別技術 177
8.2.4 視聽語音識別技術 179
8.2.5 小結 180
8.3 基於手勢識別的人機交互技術 181
8.3.1 研究及應用場景 181
8.3.2 基於計算機視覺的手勢識別技術 181
8.3.3 基於生物電信號的手勢識別技術 183
8.3.4 基於傳感手套的手勢識別技術 184
8.3.5 小結 185
8.4 基於眼動追蹤的人機交互技術 185
8.4.1 研究及應用場景 185
8.4.2 眼動追蹤處理流程 186
8.4.3 二維註視估計 186
8.4.4 眼動註視追蹤 187
8.4.5 三維註視估計 188
8.4.6 典型應用分析 189
8.4.7 小結 191
8.5 基於觸覺反饋的人機交互技術 191
8.5.1 研究及應用場景 191
8.5.2 基於引腳陣列的觸覺反饋技術 192
8.5.3 基於力向量的觸覺反饋技術 192
8.5.4 基於振動的觸覺反饋技術 192
8.5.5 其他觸覺反饋相關技術 192
8.5.6 基於可穿戴織物的增強現實觸覺設備 193
8.5.7 小結 194
8.6 多模態交互融合案例分析 194
8.6.1 研究及應用場景 194
8.6.2 基於視覺和語音的雙模態交互 195
8.6.3 基於手勢和語音的雙模態交互 195
8.6.4 基於語音、觸摸、移動的多模態交互技術 201
8.6.5 基於語音與觸控的多模態交互技術 201
8.6.6 基於人臉識別與觸控的多模態交互技術 202
8.6.7 基於多種感官的多模態交互 203
8.6.8 基於混合腦機接口的交互 203
8.6.9 小結 204
8.7 總結 204
應 用 篇
第9章 增強現實系統基本組成 208
9.1 增強現實系統架構 209
9.2 增強現實主流硬件 210
9.2.1 感知單元 211
9.2.2 計算單元 214
9.2.3 顯示單元 214
9.2.4 交互單元 215
9.3 增強現實開發工具包 218
9.3.1 發展過程 219
9.3.2 ARKit工具包 219
9.3.3 ARCore工具包 223
9.3.4 Vuforia工具包 226
9.3.5 Augument工具包 227
9.4 增強現實繪制引擎 228
9.4.1 開發者社區方面 229
9.4.2 程序開發方面 229
第10章 典型領域應用前景分析 231
10.1 工業領域應用 231
10.1.1 建築設計領域應用 231
10.1.2 工業設計領域應用 232
10.1.3 裝配維修領域應用 233
10.1.4 工業數字孿生應用 234
10.2 醫療領域應用 236
10.3 教育領域應用 238
10.4 文娛領域應用 240
第11章 軍事領域應用前景分析 242
11.1 典型軍事應用需求分析 242
11.1.1 戰場態勢感知增強 242
11.1.2 新型作戰指揮模式 245
11.1.3 模擬仿真訓練應用 247
11.1.4 裝備輔助維修應用 249
11.2 美軍的集成視覺增強系統 250
11.3 電子沙盤指控應用案例 253
11.3.1 電子沙盤應用背景 253
11.3.2 應用案例框架設計 253
11.3.3 主要信息處理流程 254
11.3.4 典型場景應用驗證 255
11.3.5 案例實踐總結分析 258
11.4 班組戰鬥協同應用案例 260
11.4.1 戰鬥協同應用背景 260
11.4.2 應用案例框架設計 260
11.4.3 典型場景應用驗證 262
11.4.4 主要技術難點分析 263
11.5 協同標繪應用案例 265
11.5.1 協同標繪應用背景 265
11.5.2 應用案例框架設計 265
11.5.3 主要技術難點分析 267
參考文獻 268