具身智能概論

張濤，男，工學博士。清華大學自動化系教授，博士生導師，自動化系黨委書記。分別於1993年、1995年、1999年在清華大學自動化系獲得工學學士、工學碩士和工學博士學位。2002年在日本國立佐賀大學獲得第二個工學博士學位。曾先後在美國麻省理工學院、德國慕尼黑工業大學、日本國立佐賀大學和日本國立信息學研究所學習和工作近8年。主要研究興趣為控制理論、人工智能、機器人學等。

目錄

 

 

 

 

 

 

 

 

具身智能概論

 

 

目錄

 

 

第1章緒論

 

1.1具身智能的由來

 

1.2具身智能的發展現狀

 

1.3具身智能的主要特點與主要應用

 

1.3.1具身智能的主要特點

 

1.3.2具身智能的主要任務與關鍵技術

 

1.3.3具身智能的主要應用與挑戰

 

第2章具身多模態大模型

 

2.1高精度雙臂操作圖像動作模型

 

2.1.1雙臂精細操作背景

 

2.1.2高精度雙臂操作圖像動作模型架構設計

 

2.1.3高精度雙臂操作圖像動作模型實驗結果

 

2.2機器人全身控制多模態模型

 

2.2.1機器人全身控制背景

 

2.2.2機器人全身控制方法介紹

 

2.2.3機器人全身控制實驗結果

 

2.3通用端到端視覺語言動作多模態模型

 

2.3.1視覺語言動作一體化模型的挑戰

 

2.3.2通用端到端視覺語言動作多模態模型

研究方法

 

2.3.3通用端到端視覺語言動作多模態模型

實驗結果

 

2.4面向專用部件感知的通用多模態操控模型

 

2.4.1復雜關節化物體操控的挑戰

 

2.4.2面向專用部件感知的通用多模態操控

模型架構設計

 

2.4.3面向專用部件感知的通用多模態操控

模型實驗結果

 

第3章具身智能交互學習

 

3.1去異質性跨平臺具身交互學習

 

3.1.1具身數據的異質性

 

3.1.2去異質性跨平臺具身交互學習框架

 

3.1.3去異質性跨平臺具身交互學習實驗

 

3.2基於進化強化學習的具身模型

 

3.2.1深度強化學習在具身智能的困境

 

3.2.2進化強化學習框架設計

 

3.2.3進化強化學習實驗結果

 

3.3生成視覺引導的具身控制學習

 

3.3.1通用具身控制的困境

 

3.3.2生成視覺引導的具身控制學習框架設計

 

3.3.3生成視覺引導的具身控制學習實驗結果

 

3.4任意點軌跡建模引導動作規劃

 

3.4.1任意點軌跡建模框架概述

 

3.4.2任意點軌跡建模

 

3.4.3任意點軌跡引導策略學習

 

3.4.4關鍵點實驗與評估

 

第4章世界認知與理解技術

 

4.1引言

 

4.2多模態數據融合與主動感知

 

4.2.1多模態數據融合

 

4.2.2主動感知

 

4.3環境建模與語義理解

 

4.3.1環境建模

 

4.3.2語義理解

 

4.4物理推理和常識建模

 

4.4.1物理推理

 

4.4.2常識建模

 

4.4.3物理推理和常識建模的融合

 

4.4.4物理推理和常識建模遇到的瓶頸與挑戰

 

4.5語言和認知的對齊

 

4.5.1具身智能中語言和認知的關系

 

4.5.2語言與認知對齊的重要性

 

4.5.3語言和認知對齊的方法

 

4.5.4語言和認知對齊面臨的問題

 

4.6交互式學習與自適應決策

 

4.6.1交互式學習

 

4.6.2自適應決策

 

4.6.3交互式學習與自適應決策的協同

 

4.6.4面臨的挑戰與未來

 

4.7應用與案例

 

4.8現有問題與未來趨勢

 

4.8.1現有認知理解技術的局限

 

4.8.2具身智能認知與理解的未來趨勢

 

4.9小結

 

第5章智能自主導航與決策技術

 

5.1引言

 

5.1.1定義與意義

 

5.1.2智能自主導航與決策的關聯

 

5.2智能感知

 

5.2.1多模態傳感器融合

 

5.2.2深度學習驅動的語義感知

 

5.3智能決策

 

5.3.1傳統規則驅動的局限

 

5.3.2強化學習與自主策略生成

 

5.3.3多智能體協作決策

 

5.3.4可解釋AI與倫理決策

 

5.4自主導航

 

5.4.1全局規劃

 

5.4.2局部重規劃

 

5.4.3多目標優化與資源管理

 

5.5挑戰與未來展望

 

5.5.1當前面臨的技術挑戰

 

5.5.2未來發展趨勢與展望

 

第6章運動操作聯合規劃與控制技術

 

6.1引言

 

6.1.1概念定義及應用意義

 

6.1.2與傳統方法的區別

 

6.1.3關鍵環節及技術

 

6.1.4方法分類

 

6.2運動操作聯合規劃技術

 

6.2.1適用於低維空間的運動規劃策略

 

6.2.2適用於高維空間的操作規劃策略

 

6.2.3適用於高維異構空間的移動操作聯合規劃策略

 

6.3運動操作控制技術

 

6.3.1傳統控制算法

 

6.3.2模型預測控制

 

6.3.3模糊控制算法

 

6.3.4自適應控制

 

6.4人形機器人端到端全身控制

 

6.4.1人形機器人全身控制

 

6.4.2最新研究進展

 

6.4.3前沿方法探索

 

6.4.4總結與展望

 

6.5小結

 

6.5.1當前面臨的挑戰

 

6.5.2未來發展趨勢

 

第7章多智能體協作技術

 

7.1引言

 

7.1.1多智能體系統

 

7.1.2典型應用場景

 

7.2多智能體系統的核心理論

 

7.2.1博弈論與協作決策

 

7.2.2分布式優化與共識算法

 

7.2.3群體智能與自組織行為

 

7.3多智能體通信與協調

 

7.3.1通信協議與信息共享

 

7.3.2任務分配與角色動態調整

 

7.3.3沖突消解與容錯機制

 

7.4協作學習與知識融合

 

7.4.1聯邦學習與隱私保護

 

7.4.2遷移學習與知識共享

 

7.4.3多智能體強化學習

 

7.5小結

 

第8章具身智能系統

 

8.1具身智能系統的身體

 

8.2具身智能系統的腦部

 

8.3典型的具身智能系統

 

8.4小結

 

第9章通用人形機器人

 

9.1人形機器人的發展歷程

 

9.1.1國際人形機器人的發展

 

9.1.2中國人形機器人的發展

 

9.2人形機器人的基本結構

 

9.2.1人形機器人頭部

 

9.2.2人形機器人四肢

 

9.2.3人形機器人軀體

 

9.3人形機器人的應用領域

 

參考文獻