具身智能機器人 原理與實踐

王韜，理學博士，北京大學計算機學院研究員，情感與認知智能機器人實驗室主任，北大-北京人形機器人創新中心情感智能應用聯合實驗室主任，北京計算機學會秘書長（兼機器人情感計算專業委員會主任），曾任杭州市錢江特聘專家。王韜研究員從事計算機系統結構、情感與認知計算、智能機器人系統、系統建模與推演方向的研究，主持國家、省部級以及重要橫向項目10餘項。獲教育部自然科學一等獎、北京市高等教育教學成果一等獎等4項省部級獎勵，獲專利授權20餘項。發表學術論文80餘篇，多篇論文獲得國際學術會議最佳論文獎。

前言
第一部分?機器人基礎
第1章?機器人概述　2
1.1?什麼是機器人　2
1.1.1?“機器人”名詞的起源　2
1.1.2?想象與現實中的機器人　3
1.2?機器人的歷史　4
1.2.1?傳說中的機器人　4
1.2.2?歷史中的機器人　5
1.2.3?早期現代意義的機器人　6
1.3?當代機器人　8
1.3.1?工業機器人　8
1.3.2?農業機器人　9
1.3.3?軍事機器人　9
1.3.4?醫療機器人　10
1.3.5?陪伴/服務機器人　11
1.3.6?其他分類方法中的機器人　12
1.4?大模型與機器人　12
1.5?具身智能　13
1.6?實踐：“算算”機器人簡介　14
思考題　14
輕松一刻　15
第2章?具身智能機器人基礎概念　16
2.1?機器人的軟硬件基本組成　16
2.1.1?自由度　16
2.1.2?重要結構部件　17
2.1.3?深入了解關節　18
2.1.4?串聯與並聯結構　19
2.1.5?控制與計算系統　20
2.1.6?機器人操作系統　20
2.1.7?應用“軟件”　21
2.1.8?學習能力　21
2.2?機器人的簡化模型　22
2.2.1?感知　22
2.2.2?規劃　23
2.2.3?行動　24
2.3?機器人的基本任務　25
2.4?智能機器人的“大腦”與
“小腦”　26
2.5?實踐：“算算”機器人的基本
組成　26
思考題　27
輕松一刻　27
第3章?機器人本體　28
3.1?機器人的行走機構　28
3.1.1?輪式行走機構　28
3.1.2?履帶式行走機構　29
3.1.3?步行（腿足）式行走
機構　30
3.2?機器人的操作結構　32
3.2.1?重要操作結構部件　32
3.2.2?機器人手　32
3.3?機器人的整體架構　33
3.4?機器人的控制系統　34
3.4.1?控制系統概述　34
3.4.2?控制系統的類型　35
3.5?機器人的智能計算系統　36
3.5.1?智能計算系統的硬件
組成　36
3.5.2?智能計算系統的硬件
架構　37
3.5.3?硬件與算法的協同優化　39
3.5.4?智能計算的未來發展
趨勢　41
3.6?實踐：“算算”機器人的本體
系統　43
思考題　43
輕松一刻　44
第4章?機器人軟件系統結構　45
4.1?機器人軟件系統結構概述　45
4.1.1?機器人軟件系統的特點　45
4.1.2?機器人軟件系統結構的
進化　46
4.2?機器人分層控制結構　47
4.2.1?行為控制層　48
4.2.2?執行層　48
4.2.3?規劃層　49
4.2.4?示例　50
4.3?機器人軟件系統結構設計過程　51
4.3.1?目標　51
4.3.2?流程　52
4.3.3?註意要點　52
4.4?實踐：“算算”機器人的軟件系統
結構　52
思考題　53
輕松一刻　53
第5章?機器人操作系統　55
5.1?操作系統與中間件　55
5.1.1?操作系統的結構與功能　56
5.1.2?分時操作系統與實時操作
系統　58
5.1.3?中間件　59
5.1.4?機器人操作系統的特別
任務　59
5.2?ROS的概念、原理與應用　60
5.2.1?ROS簡介　60
5.2.2?ROS發展歷程　60
5.2.3?ROS核心概念　62
5.2.4?ROS 2.0　65
5.2.5?ROS的應用　69
5.3?實踐：“算算”機器人中的ROS
節點　70
思考題　72
輕松一刻　72
第6章?機器人學中的坐標變換　73
6.1?位置與旋轉　73
6.2?旋轉變換　75
6.3?多次旋轉的組合　77
6.4?旋轉的參數化　78
6.5?剛性運動與齊次變換　80
6.6?實踐：“算算”機器人中的
坐標系　82
思考題　82
輕松一刻　82
第7章?機器人運動學基礎　84
7.1?正運動學　84
7.2?速度運動學　88
7.2.1?基本概念　88
7.2.2?雅可比矩陣與速度運動學　90
7.3?逆運動學　92
7.4?機器人奇異點　96
7.4.1?奇異點的基本概念　96
7.4.2?奇異點的避免　97
7.5?機器人控制基礎　98
思考題　101
輕松一刻　101
第8章?機器人感知概述　102
8.1?機器人通用感知過程　102
8.1.1?傳感　103
8.1.2?特征提取　104
8.1.3?匹配（關聯）　105
8.1.4?更新　106
8.1.5?多傳感器模型整合　106
8.1.6?建模　107
8.1.7?預測前饋　108
8.2?傳感數據表示方法　108
8.2.1?原始傳感數據表示法　109
8.2.2?基於柵格的數據表示法　109
8.2.3?基於特征的數據表示法　110
8.2.4?基於符號/圖的數據
表示法　110
8.3?機器人常用環境感知方法　111
8.3.1?視覺感知　111
8.3.2?距離感知　114
8.3.3?方位感知　116
8.3.4?聽覺感知　120
8.3.5?觸覺感知　122
8.4?感知估計　126
8.4.1?對傳感器建模和數據
校準　126
8.4.2?估計過程　128
8.4.3?估計方法　129
8.4.4?卡爾曼濾波　130
8.4.5?魯棒感知　132
8.5?實踐：“算算”機器人中的感知　134
思考題　135
輕松一刻　135
第二部分?機器人系統
第9章?機器人語音　138
9.1?語音識別　138
9.1.1?語音識別概述　138
9.1.2?語音識別的發展歷程　139
9.1.3?語音識別的關鍵技術　140
9.1.4?語音識別在機器人系統
中的應用　144
9.1.5?音色識別　145
9.2?語義理解　145
9.2.1?語義理解概述　145
9.2.2?語義理解的發展歷程　146
9.2.3?語義理解的關鍵技術　146
9.2.4?語義理解在機器人系統
中的應用　147
9.3?語音合成　148
9.3.1?語音合成概述　148
9.3.2?語音合成的發展歷程　148
9.3.3?語音合成的關鍵技術　149
9.3.4?語音合成在機器人系統
中的應用　150
9.4?實踐：“算算”機器人中的語音
子系統　151
思考題　151
輕松一刻　152
第10章?機器人視覺　153
10.1?物體識別　153
10.1.1?物體識別概述　153
10.1.2?物體識別技術發展
歷程　153
10.1.3?物體識別的關鍵技術　154
10.1.4?物體識別在機器人系統
中的應用　156
10.2?人物識別　157
10.2.1?人臉識別　157
10.2.2?姿態識別　161
10.3?實踐：“算算”機器人中的視覺
子系統　164
思考題　165
輕松一刻　165
第11章?機器人移動　166
11.1?機器人移動概述　166
11.2?不同環境中的機器人定位
方法　167
11.2.1?室外定位　168
11.2.2?室內定位　168
11.3?機器人移動規劃　168
11.4?機器人避障　170
11.5?即時定位與地圖構建　173
11.5.1?SLAM概述　174
11.5.2?SLAM的基礎計算
模型　176
11.5.3?前端位姿估計　177
11.5.4?後端優化　177
11.5.5?回環檢測　178
11.5.6?建圖　179
11.5.7?實例：激光SLAM和視覺
SLAM中的前端位姿估計
問題　181
11.5.8?SLAM面臨的挑戰　184
11.6?實踐：“算算”機器人中的移動
子系統　185
思考題　185
輕松一刻　185
第12章?機器人操作　187
12.1?抓取與操作任務　187
12.2?穩定抓取　189
12.3?操作規劃　190
12.4?柔性操作　191
12.5?視覺伺服　191
12.6?力控操作　192
12.7?實踐：“算算”機器人中的操作
子系統　193
思考題　194
輕松一刻　194
第13章?機器人系統仿真　195
13.1?系統仿真概述　195
13.2?系統仿真環境　196
13.2.1?開源仿真工具　196
13.2.2?主流商業仿真軟件　199
13.2.3?仿真環境的選擇　200
13.2.4?仿真環境的未來發展
趨勢　201
13.3?機器人仿真數據　202
13.3.1?機器人的模型數據　202
13.3.2?環境數據　203
13.3.3?傳感器數據　204
13.3.4?數據生成與處理　205
13.3.5?仿真數據的驗證與優化　207
13.4?RVR技術　208
13.4.1?RVR技術的基本流程　208
13.4.2?RVR技術的應用場景　210
13.4.3?RVR技術的挑戰與突破
路徑　211
13.4.4?RVR技術的未來發展
趨勢　213
思考題　216
輕松一刻　216
第三部分?具身智能機器人交互
第14章?現代具身智能　220
14.1?具身智能概述　220
14.1.1?具身感知　220
14.1.2?具身交互　222
14.1.3?具身規劃　222
14.2?多模態大模型　223
14.2.1?模態編碼器　223
14.2.2?模態連接器　225
14.2.3?多模態融合方法　226
14.3?意圖識別　227
14.3.1?基於模板匹配的意圖
識別　227
14.3.2?基於分類模型的意圖
識別　228
14.3.3?基於大模型的意圖
識別　229
14.4?環境認知　229
14.4.1?多模態感知融合　230
14.4.2?場景理解與建模　231
14.4.3?動態環境決策　231
14.5?通用抓取　232
14.5.1?基於視覺的抓取　232
14.5.2?視覺-觸覺融合的具身
抓取　233
14.5.3?基於大模型的抓取：
VLA　233
14.6?具身導航　233
14.6.1?具身導航與傳統導航的
不同　234
14.6.2?視覺-語言導航　234
14.6.3?視覺-語義導航　236
14.7?仿真到現實的適應性　237
14.7.1?世界模型　237
14.7.2?數據收集和訓練　238
14.7.3?具身控制訓練　239
14.8?具身智能發展中待解決的
問題　240
思考題　241
輕松一刻　241
第15章?人與機器人的交互　243
15.1?與人在一起的智能機器人　243
15.2?HRI的基本概念　244
15.2.1?HRI的定義與內涵　244
15.2.2?HRI的基本目標　244
15.2.3?HRI領域的研究方向　244
15.2.4?HRI的例子　245
15.3?HRI的要素　245
15.3.1?人類狀態分析　245
15.3.2?交互策略　246
15.3.3?交互表達　247
15.3.4?主動反應　247
15.3.5?狀態維護　248
15.3.6?安全與倫理　248
思考題　248
輕松一刻　249
第16章?機器人的情感　250
16.1?情感機器人　250
16.1.1?情感機器人概述　250
16.1.2?情感機器人需要的情感
能力　253
16.1.3?情感機器人在各領域的
應用　254
16.2?機器人對人類的情感識別方法　256
16.2.1?情感識別基礎　256
16.2.2?語言情感識別　257
16.2.3?面部表情情感識別　257
16.2.4?目光特征情感識別　259
16.2.5?身體動作情感識別　260
16.2.6?腦電情感識別　261
16.2.7?生理反應中的情感識別　261
16.2.8?多模態方法　263
16.3?機器人的情感表達　 264
16.4?機器人的“情商”　265
思考題　266
輕松一刻　266
第17章?機器人倫理　267
17.1?機器人與倫理　267
17.2?機器人倫理學　268
17.3?針對阿西莫夫機器人三定律的
思考　269
17.4?智能機器人學習過程中的
新問題　270
17.5?在機器人與人類共存時代需要
註意的新問題　271
思考題　272
輕松一刻　272
第18章?具身智能機器人的未來　273
18.1?人們對於具身智能機器人的
期望　273
18.2?新形態機器人　276
18.2.1?柔性機器人　276
18.2.2?液態金屬機器人　276
18.3?展望2030年的具身智能
機器人　277
思考題　278
輕松一刻　278
附錄?具身智能機器人領域相關
資源　280
參考文獻　284