相關主題
商品描述
數據驅動下的創新為智能駕駛技術帶來了巨大的發展潛力,也為用戶個性化體驗提供了 多可能。毫無疑問,經過標註的高質量、結構化數據已從過去的輔助角色逐漸轉變為重要的價值創造者角色,而多維(包括三維重建加時間維度)重建技術則是構建大規模、全自動、高質量數據標註引擎的核心, 是進行建圖、仿真、測試、可視化及自動駕駛系統的關鍵。在學術界,與智能駕駛相關的大規模三維重建、四維標註、鳥瞰圖、占用網絡、軟件2.0等與多維重建強相關的工作越來越多,很多學術會議及期刊也不斷推出與之相關的研討會(Workshop)與特刊(Special Issue)。地平線(Horizon Robotics)擁有多年智能駕駛研發及量產經驗,已將多維重建技術應用到產品線中,並且本著開放賦能、共同進步的目標,與蘇州大學合作編寫本書,系統介紹與多維重建相關的技術、方法及應用,幫助數據及算法團隊迅速建立核心能力,並幫助入門者快速了解相關概念與核心技術。本書除了層層遞進介紹基礎知識外,還加入了大量來自量產一線的多維重建案例,便於讀者動手實踐。本書主要面向智能車輛工程、智能視覺工程、智慧交通、人工智能、智能科學與技術等相關專業的學生及與智能駕駛、多維重建相關的開發及研究人員等。本書既可以作為智能駕駛與多維重建的入門級教材,也可用於多維重建開發的參考工具書。
作者簡介
楊聰,博士畢業於德國錫根大學(University of Siegen),師從Marcin Grzegorzek教授,研究方向為機器視覺與式識別。後在法國 信息與自動化研究所(INRIA)進行博士後研究,師從Marie-Odile Berger教授,方向集中於機器視覺並涉及多個學科的交叉。2017年回國,擔任擴博智能(Clobotics)算法團隊負責人,帶領團隊成功研發並交付了多個人工智能相關產品。2019年加入地平線(Horizon Robotics),擔任南京人工智能高等研究院 研究員,帶領團隊深度參與了地平線征程2-5代芯片在智能駕駛領域的落地與量產。現任蘇州大學副教授,蘇州大學-地平線智能駕駛生態創新中心主任,先後在IJCV、TVCG、TIP、TITS等 外知名期刊或會議發表學術論文近70篇,專著2本,主編教材4部,專利近40個(含美國專利4個)。
目錄大綱
前言
第1章 智能駕駛中的三維重建
1.1 智能駕駛簡介
1.2 智能駕駛傳感器
1.2.1 視覺傳感器
1.2.2 激光雷達
1.2.3 毫米波雷達
1.2.4 超聲波傳感器
1.2.5 定位傳感器
1.2.6 多傳感器融合
1.3 智能駕駛感知
1.4 SLAM與VLN中的三維重建
1.4.1 視覺SLAM
1.4.2 神經表達SLAM
1.4.3 VLN
1.5 智能駕駛仿真
1.6 案例:特斯拉視覺重建與仿真
練習題
第2章 特征點檢測與匹配
2.1 特征點檢測與描述
2.1.1 特征點檢測算法
2.1.2 特征點描述算法
2.2 特征點匹配
2.3 深度學習特征點檢測與匹配
2.3.1 基於學習的特征點檢測
2.3.2 基於學習的特征點匹配
2.3.3 端到端特征點檢測與匹配
2.3.4 評價指標
2.4 特征點檢測與匹配的應用
2.5 案例:智能駕駛中的關鍵點檢測與匹配
練習題
第3章 幀間運動估計
3.1 相機模型及成像
3.1.1 相機模型
3.1.2 畸變模型
3.2 幀間運動理論模型
3.2.1 對極約束
3.2.2 單應性變換
3.3 幀間運動模型求解
3.3.1 直接線性變換法
3.3.2 魯棒估計
3.4 基於深度學習的裏程計估計
3.4.1 基於學習的幀間運動估計
3.4.2 基於學習的視覺重建
3.4.3 特征點法與直接法對比
3.5 案例:智能駕駛中的裏程計估計
練習題
第4章 運動恢覆結構
4.1 三角測量
4.2 透視n點問題
4.3 光束法平差非線性優化
4.3.1 無約束最小優化問題
4.3.2 光束法平差求解
4.4 運動恢覆結構框架
4.4.1 增量運動恢覆結構
4.4.2 全局運動恢覆結構
4.4.3 分層運動恢覆結構
4.4.4 運動恢覆結構對比
4.5 運動恢覆結構的加速處理
4.5.1 圖像連接圖構建加速
4.5.2 匹配和幾何校驗加速
4.5.3 光束法平差並行加速
4.6 案例:智能駕駛場景中的SfM重建
練習題
第5章 多視圖稠密重建
5.1 基於幾何方法
5.1.1 法向估計
5.1.2 視角選擇
5.1.3 時空平滑
5.1.4 光度一致
5.1.5 幾何一致
5.1.6 集成
5.1.7 點雲融合
5.2 基於學習方法
5.2.1 基於三維卷積的多視圖稠密重建
5.2.2 基於二維卷積的多視圖稠密重建
5.3 基於COLMAP的多視圖稠密重建
5.3.1 COLMAP SfM
5.3.2 COLMAP MVS
5.3.3 COLMAP中間結果
5.4 三維占用重建
5.4.1 基於深度估計的占用
5.4.2 端到端三維占用估計
5.4.3 占用流
5.5 案例:駕駛場景中的稠密點雲重建
練習題
第6章 紋理表面重建
6.1 三維物體的表面表達方式
6.1.1 邊界表示法
6.1.2 空間劃分法
6.1.3 構造體素法
6.2 基於圖像分割的表面重建
6.2.1 德勞內三角剖分
6.2.2 圖像分割二分類
6.3 基於隱函數的表面重建
6.3.1 隱函數空間劃分
6.3.2 局部和全局隱函數重建
6.3.3 行進立方體算法生成表面
6.4 基於多視角的網格細化
6.4.1 連續梯度流離散化
6.4.2 數學模型
6.5 紋理圖像重建
6.5.1 紋理貼圖基本原理
6.5.2 紋理圖像自動拼接
6.5.3 紋理圖像去縫處理
6.6 神經輻射場重建
6.6.1 神經輻射場的基本原理
6.6.2 神經輻射場系列現狀及發展
6.7 3D高斯濺射
6.8 案例:智能駕駛中的稠密點雲重建
練習題
第7章 智能駕駛雲端建圖
7.1 行車場景的建圖方案
7.1.1 高精地圖概述
7.1.2 高精地圖構建
7.1.3 重感知輕地圖
7.1.4 矢量地圖
7.2 行車場景的定位方案
7.2.1 基於地圖的定位
7.2.2 輕地圖中的定位
7.3 泊車場景的建圖方案
7.4 泊車場景的定位方案
7.5 視覺建圖與定位案例
7.5.1 行車場景
7.5.2 泊車場景
練習題
第8章 純視覺四維標註
8.1 智能駕駛數據需求
8.1.1 智駕技術發展歷程
8.1.2 智駕數據需求
8.2 靜態場景四維標註
8.3 動態場景四維標註
8.4 通用障礙物四維標註
8.4.1 深度標註
8.4.2 占用標註
8.5 案例:人工與半自動標註平臺案例
練習題
第9章 三維可視化
9.1 計算機圖形學基礎
9.1.1 光柵化
9.1.2 曲面轉換
9.1.3 光線追蹤
9.2 渲染管線
9.2.1 渲染管線原理
9.2.2 渲染管線編程
9.3 智能駕駛中的渲染元素
9.4 案例:智能駕駛中常用的渲染工具介紹
9.4.1 Webviz
9.4.2 Foxglove
練習題
第10章 自動駕駛仿真
10.1 傳統仿真系統
10.1.1 物理引擎
10.1.2 決策規劃
10.1.3 CARLA
10.2 基於深度學習的仿真系統
10.2.1 風格遷移
10.2.2 隱式表達
10.2.3 動態物體仿真
10.3 智能
