自動駕駛：理論、算法與實踐

CONTENTS

目錄

第1章緒論00

1.1自動駕駛的發展歷程00

1.2自動駕駛技術的分級00

1.2.1國際汽車工程師學會對自動駕駛技術的分級00

1.2.2中國的自動駕駛技術分級00

1.3完全自動駕駛面臨的五大難題00

1.4自動駕駛的基本組成與基本科學問題00

1.4.1自動駕駛系統的基本組成00

1.4.2實現完全自動駕駛需要解決的3個基本科學問題00

1.5自動駕駛大規模應用的支撐要素0

1.5.1基礎設施與車路協同0

1.5.2法律法規與倫理道德0

第2章自動駕駛的傳感器系統0

2.1概述0

2.2相機的原理與應用0

2.2.1相機的基本原理0

2.2.2相機的內參與外參0

2.2.3相機的標定0

2.2.4全景相機的原理與應用0

2.2.5事件相機的原理與應用0

2.3激光雷達數據采集與處理0

2.3.1激光雷達的基本原理0

2.3.2激光雷達與相機的聯合標定0

2.3.3多激光雷達聯合標定0

2.4毫米波雷達數據采集與處理0

2.4.1毫米波雷達的基本原理0

2.4.2毫米波雷達與相機的聯合標定0

2.5車輛位姿狀態感知傳感器0

2.5.1全球導航衛星系統0

2.5.2慣性測量傳感器0

第3章交通場景感知與理解0

3.1概述0

3.2車道線檢測0

3.2.1傳統車道線檢測0

3.2.2深度學習車道線檢測0

3.3交通場景檢測0

3.3.1圖像2D目標檢測0

3.3.2圖像3D目標檢測0

3.3.3點雲3D目標檢測0

3.3.4多傳感信息融合的3D目標檢測0

3.4交通場景語義分割0

3.4.1圖像交通場景語義分割0

3.4.2點雲交通場景語義分割0

3.4.3圖像—點雲共點映射的可行駛區域檢測0

3.5交通場景的層次化表征與視覺位置識別0

3.5.1交通場景視覺信息的層級結構表征及註意力機制0

3.5.2應用詞袋模型的視覺位置識別0

3.5.3應用卷積神經網絡的視覺位置識別0

3.5.4基於Transformer的視覺位置識別0

目錄

第4章弱勢道路使用者的行為識別與預測

4.1概述

4.2弱勢道路使用者的檢測與行為識別

4.2.1弱勢道路使用者的檢測

4.2.2弱勢道路使用者的姿態識別

4.2.3弱勢道路使用者的行為識別

4.3弱勢道路使用者意圖預測

4.3.1基於運動特征的意圖預測

4.3.2應用姿態估計的意圖預測

4.3.3基於環境或他人交互的意圖預測

4.3.4應用特征融合的意圖預測

4.3.5主要意圖預測方法性能對比

4.4弱勢道路使用者運動預測

4.4.1基於意圖的運動預測

4.4.2基於對象物理屬性的運動預測

4.4.3應用社會互動信息的運動預測

4.4.4註意力機制下的運動預測

4.4.5場景約束下的運動預測

4.4.6主要軌跡預測方法性能對比

第5章自動駕駛周圍車輛行為預測與駕駛風格識別

5.1概述

5.2基於統計模型的周圍車輛行為預測

5.2.1應用卡爾曼濾波的周圍車輛行為預測

5.2.2基於動態貝葉斯網絡的周圍車輛行為預測

5.2.3應用隱馬爾可夫模型的周圍車輛行為預測

5.3基於深度學習的周圍車輛軌跡預測

5.3.1深度學習下的車輛軌跡預測問題分析

5.3.2單一靜態場景下車輛的軌跡預測

5.3.3動態復雜城區環境中車輛的軌跡預測

5.4周圍車輛駕駛風格識別

5.4.1應用高斯混合模型的駕駛風格識別

5.4.2基於短期觀測的實時駕駛風格分類方法

5.4.3基於時序數據的CNNLSTM駕駛風格識別模型

第6章自動駕駛的高精度地圖

6.1概述

6.2高精度語義地圖

6.2.1地圖的坐標系統

6.2.2高精度語義地圖的基本組成

6.2.3高精度語義地圖的應用

6.3高精度語義地圖的信息生成

6.3.1道路中心線的自動生成

6.3.2路口和環島的參考軌跡生成

6.3.3分布式地圖構建

6.4基於人機交互的高精度語義地圖編輯

6.4.1地圖的分塊加載和瓦片地圖服務

6.4.2基於JOSM的地圖編輯

6.5其他高精度地圖標準

6.5.1OpenDrive地圖標準

6.5.2Lanelet地圖標準

6.5.3NDS地圖標準和多層級地圖

第7章自動駕駛的定位系統

7.1概述

7.2組合導航系統

7.2.1基礎配置

7.2.2基於卡爾曼濾波的組合導航算法

7.3自動駕駛定位的裏程計方法

7.3.1基於航跡推演的裏程計方法

7.3.2視覺裏程計

7.3.3激光裏程計

7.4同步定位與建圖

7.4.1系統框架

7.4.2視覺同步定位與建圖

7.4.3激光同步定位與建圖

7.5基於車載傳感器的無依托定位

7.5.1面向自動駕駛定位的高精度地圖構建

7.5.2地圖壓縮與編碼

7.5.3應用先驗高精度地圖的點雲匹配定位

7.5.4軟硬件協同設計方法

7.6協同其他交通元素的有依托定位

7.6.1基於交通標識的協同定位

7.6.2基於交通參與者行為分析的協同定位

第8章自動駕駛的行為決策

8.1概述

8.2基於有限狀態機的行為決策

8.3基於部分可觀測馬爾可夫決策過程的行為決策

8.4應用博弈論的交互行為決策

8.5應用蒙特卡羅方法的行為決策

8.6基於學習的行為決策

8.6.1模仿學習

8.6.2強化學習

8.6.3逆強化學習

第9章自動駕駛的運動規劃

9.1概述

9.2自動駕駛運動規劃的基本方法

9.2.1基於優化的規劃

9.2.2基於搜索的規劃

9.2.3基於采樣的規劃

9.3多層混合A*路徑規劃

9.3.1算法框架

9.3.2局部終點生成模塊

9.3.3路徑搜索模塊

9.4多模型的自動駕駛軌跡規劃

9.4.1算法框架

9.4.2路徑規劃模塊

9.4.3速度生成模塊

第10章自動駕駛的控制

10.1概述

10.2自動駕駛的車輛模型

10.2.1自行車運動學模型

10.2.2自行車動力學模型

10.3自動駕駛的運動控制

10.3.1縱向運動控制

10.3.2橫向運動控制

10.4自動駕駛的路徑跟蹤與車道保持

10.4.1基於運動學模型的自動駕駛路徑跟蹤

10.4.2基於最優控制的路徑跟蹤與車道保持

10.5自動駕駛的模型預測控制算法

10.5.1線性模型預測控制算法

10.5.2隨機模型預測控制算法

10.6自動駕駛的自適應巡航

10.6.1基於反饋控制的自適應巡航

10.6.2車車協同式自適應巡航控制

10.6.3應用機器學習的車車協同式自適應巡航

10.7基於學習的自動駕駛控制方法

10.7.1基於模仿學習的自動駕駛控制

10.7.2基於強化學習的自動駕駛控制

第11章自動駕駛的仿真、測試與驗證

11.1概述

11.2自動駕駛仿真系統架構與測試

11.2.1自動駕駛仿真系統功能

11.2.2虛實融合的自動駕駛仿真測試

11.3車輛動力學模型構建與表征

11.4車載傳感器仿真與建模

11.4.1攝像頭仿真

11.4.2激光雷達仿真

11.4.3GPS仿真

11.5自動駕駛仿真與車輛在環測試

11.5.1虛實融合的車輛在環測試框架

11.5.2靜態場景的構建與生成

11.5.3動態交通流仿真的分類與建模

11.5.4自主車輛環島通行能力的測試與驗證

11.6自動駕駛的註入式仿真系統

11.6.1自動駕駛註入式仿真系統的基本定義和框架

11.6.2聯合交通流模擬器的動態場景仿真

11.6.3真實數據驅動的傳感器仿真

11.6.4註入式仿真測試

11.7自動駕駛測試場景生成

11.7.1交通場景的特征編碼與全局復雜度表征提取

11.7.2受生物智能啟發的動態場景生成

11.7.3基於大模型的自動駕駛場景生成

11.8自動駕駛的平行仿真

11.8.1平行仿真基本定義

11.8.2自動駕駛平行仿真測試的基本框架

11.9自動駕駛常用數據集與開源工具

11.9.1常用數據集

11.9.2開源工具

第12章室內智能移動機器人

12.1概述

12.2室內智能移動機器人的同步定位與建圖

12.2.1地圖表征

12.2.2單線激光雷達同步定位與建圖

12.2.3基於點鏈表征的同步定位與建圖

12.3室內智能移動機器人的環境理解

12.3.1室內場景的語義分割

12.3.2室內場景的動態目標檢測

12.4室內智能移動機器人的導航

12.4.1導航路徑的生成與優化

12.4.2基於參數曲線優化的導航路徑生成

12.5室內智能移動機器人的運動規劃

12.5.1反應式運動規劃

12.5.2預測式運動規劃

12.5.3基於時空概率道路樹的運動規劃

12.6室內智能移動機器人與人機交互

12.6.1室內智能移動機器人與人機交互行為的預測

12.6.2分布式室內智能移動機器人與雲平臺

第13章受腦認知和神經科學啟發的自動駕駛系統

13.1概述

13.2面向健壯自動駕駛的認知構建方法

13.2.1受腦啟發的模型結構 

13.2.2模擬視覺皮層的類人感知

13.2.3自動駕駛認知地圖的構建

13.2.4模擬運動皮層的規劃與控制

13.3受生物認知啟發的自動駕駛神經電路策略

13.3.1神經電路模型與對應網絡結構

13.3.2實現結構與應用實例 

第14章基於數據驅動的學習型自動駕駛系統

14.1概述

14.2數據驅動的學習型自動駕駛系統

14.2.1基於淺層卷積神經網絡的自動駕駛

14.2.2引入高精度地圖的端到端自動駕駛

14.2.3基於多模態輸入的端到端自動駕駛

14.2.4基於大語言模型的端到端自動駕駛

14.3端到端自動駕駛的關鍵方法與技術

14.3.1端到端自動駕駛的車輛控制模式

14.3.2端到端自動駕駛的學習方法

14.3.3端到端自動駕駛的註意力機制

14.3.4端到端自動駕駛的仿真與評估

第15章自動駕駛的操作系統和軟件系統

15.1概述

15.2基於AUTOSAR的系統架構

15.3自動駕駛系統的V模式開發流程

15.3.1自動駕駛系統的V模式開發流程簡介

15.3.2基於硬件在環的可靠性優化

15.3.3基於日誌分析的可靠性優化

15.4Pioneer： 自動駕駛的集成開發平臺

15.4.1Pioneer平臺基礎框架——ROS

15.4.2Pioneer集成開發平臺概述

15.5其他自動駕駛開發平臺

15.5.1Autoware

15.5.2Apollo

15.5.3NVIDIA Drive

15.5.4Tesla

第16章自動駕駛的人機交互與人機共駕

16.1概述

16.2自動駕駛人機交互的設計原則

16.2.1自動駕駛人機交互的基準需求

16.2.2自動駕駛人機交互的擴展需求

16.3自動駕駛人機交互的設計內容

16.3.1車內用戶與自動駕駛的視覺交互

16.3.2車內用戶與自動駕駛的語音交互

16.3.3自動駕駛與車外周邊交通參與者的交互

16.4“以人為中心”的人機共駕

16.4.1人機共駕的六大原則

16.4.2駕駛員狀態監測

16.4.3人機共駕的定制化

第17章車路協同的自動駕駛

17.1概述

17.2車路協同的概念與發展歷程

17.2.1車路協同的相關概念

17.2.2車路協同的發展與現狀

17.3車路協同的基本架構與關鍵技術

17.3.1車路協同的基本架構

17.3.2車路協同的關鍵技術

17.4車路協同的自動駕駛多車協同定位

17.4.1基於無線傳感器網絡的協同定位

17.4.2基於觀測的協同定位 

17.5車路協同的感知通信融合與超視距感知

17.5.1感知通信融合技術

17.5.2感知通信融合的超視距感知

17.6車路協同的多車協同決策

17.6.1多車協同決策問題的分類與屬性

17.6.2典型的多車協同決策問題分析

附錄A自動駕駛的基本數學知識

A.1貝葉斯濾波

A.2卡爾曼濾波

A.2.1基本卡爾曼濾波器

A.2.2擴展卡爾曼濾波

A.2.3無跡卡爾曼濾波

A.3離散點曲線平滑數學原理

A.3.1三次樣條插值函數

A.3.2貝塞爾曲線

A.4無約束優化

A.4.1梯度下降法

A.4.2牛頓法

A.4.3高斯牛頓法

A.4.4LevenbergMarquart法

A.5有約束優化

A.5.1二次規劃法

A.5.2序列二次規劃法

A.6李群和李代數

A.6.1李代數

A.6.2指數與對數映射

A.6.3李代數求導與擾動模型

A.7支持向量機

附錄B神經網絡模型的基本數學方法

B.1參數初始化

B.2特征歸一化

B.3損失函數設計

B.4自適應優化

附錄C強化學習基礎

C.1強化學習基礎概念

C.2強化學習的策略價值疊代

C.2.1動態規劃算法

C.2.2蒙特卡羅算法

C.2.3時間差分算法

C.3強化學習的策略梯度優化

C.3.1策略梯度上升算法

C.3.2行為評價算法

C.3.3近端策略優化算法

參考文獻

術語表