世界模型：下一代具身智能引擎的原理與工程實踐
任廣凱、楊倩文、康延妮
- 出版商: 清華大學
- 出版日期: 2026-11-01
- 售價: $654
- 語言: 簡體中文
- ISBN: 7302729247
- ISBN-13: 9787302729242
-
相關分類:
Machine Learning、Reinforcement、自駕車
下單後立即進貨 (約4週~6週)
相關主題
商品描述
作者簡介
目錄大綱
目 錄
第1章 世界模型概覽 1
1.1 定義與邊界 1
1.1.1 世界模型的核心內涵與形式化定義 1
1.1.2 智能範式的拓展：從大語言模型到世界模型 2
1.1.3 理清概念邊界：與模擬器、生成式AI的核心差異 2
1.2 五代演進譜系 3
1.2.1 第一代：符號主義顯式參數模型（符號主義時代） 3
1.2.2 第二代：連接主義隱空間初步探索（RNN/VAE時代） 3
1.2.3 第三代：離散化表征與健壯性規劃體系（RSSM/Dreamer時代） 4
1.2.4 第四代：Transformer與擴散模型的架構重構 4
1.2.5 第五代：聯合嵌入架構與通用具身智能（JEPA時代） 4
1.3 核心技術版圖 4
1.3.1 感知編碼層：高維異構信息的數字抽象 5
1.3.2 動力學預測層：世界演化的因果時序模擬 5
1.3.3 規劃決策層：從虛擬想象到真實動作執行 6
1.4 主要技術路線 6
1.4.1 非生成式路線：以決策效率與輕量化為核心 6
1.4.2 生成式路線：以視覺與常識統一為目標 6
1.4.3 混合式路線：融合生成與預測的聯合架構 7
1.5 核心發展驅動力 7
1.5.1 規模定律的邊界拓展 7
1.5.2 多模態基礎模型的能力支撐 7
1.5.3 產業落地與安全對齊的剛需 7
1.6 本章小結 8
1.7 本章參考文獻 8
第2章 世界模型與LLM/VLM的根本差異 10
2.1 生成與預測的本質 10
2.1.1 自回歸生成範式的統計本質 10
2.1.2 世界模型預測範式的因果本質 11
2.1.3 範式差異的深層內涵與融合方向 12
2.2 可執行表示與行動條件生成 13
2.2.1 可執行表示的核心內涵與範式對比 13
2.2.2 行動條件生成的核心特性與決策支撐 15
2.2.3 可執行表示的認知本質與落地挑戰 16
2.3 長期依賴與記憶結構差異 17
2.3.1 LLM/VLM的全局註意力記憶與長期依賴局限 17
2.3.2 世界模型的增量式狀態記憶與核心優勢 17
2.3.3 兩種記憶機制的邊界與技術演進趨勢 19
2.4 本章小結 19
2.5 本章參考文獻 20
第3章 世界模型的數學形式化 21
3.1 狀態空間模型 21
3.1.1 狀態空間模型的核心定義與馬爾可夫性 21
3.1.2 經典線性與非線性狀態空間模型 22
3.1.3 深度狀態空間模型與世界模型範式 23
3.2 POMDP框架 25
3.2.1 POMDP的數學定義與核心要素 26
3.2.2 信念狀態與貝葉斯濾波 28
3.2.3 POMDP與世界模型的範式對應 29
3.3 因果結構與幹預視角 30
3.3.1 從關聯預測到因果建模：世界模型的核心剛需 31
3.3.2 因果結構的形式化表達與狀態空間的融合 31
3.3.3 因果幹預的世界模型求解與能力邊界 33
3.4 POMDP求解器 34
3.4.1 POMDP求解的核心困境與範式分類 34
3.4.2 經典POMDP求解算法的核心框架 36
3.4.3 世界模型驅動的POMDP求解器架構 37
3.5 本章小結 39
3.6 本章參考文獻 39
第4章 表征學習基礎 41
4.1 VAE與潛空間理論 41
4.1.1 從自編碼器到變分自編碼器 41
4.1.2 β-VAE與解耦表征學習 44
4.1.3 時序VAE-T與連續潛空間的特性邊界 46
4.2 VQ-VAE離散化技術 49
4.2.1 VQ-VAE的核心原理與基礎架構 49
4.2.2 VQ-VAE的端到端訓練機制與梯度優化 50
4.2.3 VQ-VAE的技術演進、世界模型應用與局限性 53
4.3 自監督預測學習 55
4.3.1 自監督預測學習的核心內涵與顯式預測範式 56
4.3.2 隱式預測學習的演進與實現路徑 57
4.3.3 聯合訓練優化、核心挑戰與性能評估 60
4.4 離散表征的訓練病理與工程修復 61
4.4.1 碼本坍縮的核心定義與形成機制 61
4.4.2 離散化梯度方法的演進與核心原理 63
4.4.3 碼本坍縮的工程化解決方案 64
4.5 本章小結 67
4.6 本章參考文獻 67
第5章 動力學模型Ⅰ：循環狀態空間模型與Dreamer系列方法 69
5.1 RSSM：隨機路徑與確定性路徑的交織 70
5.1.1 為什麼世界模型必須學習動力學 70
5.1.2 純確定性模型與純隨機模型為什麼都不夠 70
5.1.3 從狀態空間模型到RSSM的結構化設計 72
5.1.4 RSSM的訓練目標：ELBO、預測任務與多步超前約束 74
5.1.5 RSSM與POMDP：從濾波視角理解潛在狀態 75
5.1.6 從連續潛變量到離散潛變量 76
5.1.7 RSSM的價值與邊界 76
5.2 Dreamer：在想象中學習策略 77
5.2.1 從PlaNet到Dreamer：從在線規劃走向潛空間策略學習 77
5.2.2 Dreamer的三模塊結構：世界模型、策略網絡與價值網絡 77
5.2.3 Dreamer的三重訓練循環 78
5.2.4 λ-return與解析梯度 79
5.2.5 Dreamer的技術演化與對比 80
5.3 想象軌跡與復合誤差 82
5.3.1 復合誤差的成因與分類 82
5.3.2 復合誤差的診斷與量化 86
5.3.3 典型案例與主動探索 87
5.3.4 後續章節意義與分層規劃 88
5.4 工程實踐：KL調控、長序列穩定性與訓練系統設計 89
5.4.1 KL調控與平衡策略 89
5.4.2 長序列訓練技術 90
5.4.3 訓練穩定性與監控 91
5.4.4 落地實踐與復現 91
5.5 本章小結 92
5.6 本章參考文獻 93
第6章 動力學模型Ⅱ：Transformer世界模型（IRIS與Genie） 94
6.1 Transformer動力學路線的提出：從潛在狀態遞推到序列建模 95
6.1.1 為什麼RSSM路線在更長時域上會遇到瓶頸 95
6.1.2 自註意力如何重寫“記憶”的定義 95
6.1.3 tokenizer表示與token視角為何適合世界模型 96
6.1.4 範式切換與目標函數變化 97
6.2 IRIS：將世界模型寫成自回歸序列 99
6.2.1 問題設定與設計思路 99
6.2.2 離散自編碼器與動作詞匯表 99
6.2.3 自回歸動力學與想象式展開 101
6.2.4 典型案例與結果解讀 101
6.2.5 方法論意義與局限 102
6.3 Genie：從無標簽視頻到交互世界 104
6.3.1 問題設定：無動作標簽的挑戰 104
6.3.2 時空tokenizer與潛在動作模型 104
6.3.3 自回歸動力學與交互式展開 106
6.3.4 擴展應用：自動駕駛與3D世界 106
6.3.5 方法論意義與局限 107
6.4 動力學路線分化：潛在預測、顯式生成與統一趨勢 108
6.4.1 兩條路線的分化 108
6.4.2 V-JEPA的非生成式邏輯 108
6.4.3 擴散路線與遊戲引擎模擬 109
6.4.4 路線選型與融合趨勢 109
6.5 工程挑戰：長序列、鍵值緩存與實時推理 110
6.5.1 Transformer世界模型的系統瓶頸 110
6.5.2 長序列擴展：不是所有歷史都必須等密度保存 110
6.5.3 鍵值緩存：為什麼推理時顯存壓力會持續上升 111
6.5.4 系統優化與高效架構演進 111
6.5.5 故障排查與實施路徑 112
6.6 本章小結 113
6.7 本章參考文獻 114
第7章 世界模型的規劃機制：從MCTS到MPC 116
7.1 經典規劃：動態規劃、MCTS與潛空間搜索 117
7.1.1 動態規劃與貝爾曼最優性 117
7.1.2 MCTS的基本機制與演化 118
7.1.3 典型案例：AlphaZero與MuZero 118
7.1.4 MCTS在世界模型中的價值與局限 119
7.1.5 實驗結果解讀原則 120
7.2 模型預測控制：連續控制中的滾動規劃 120
7.2.1 MPC的基本問題設定與核心數學結構 120
7.2.2 MPC與世界模型的天然契合 121
7.2.3 約束、穩定性、健壯性與前沿擴展 122
7.2.4 三個典型場景：工業控制、機器人、自動駕駛 122
7.2.5 實驗結果解讀原則 123
7.3 近似規劃技術 123
7.3.1 交叉熵方法（CEM）與模型預測路徑積分（MPPI） 123
7.3.2 可微優化與混合式規劃 124
7.3.3 生成式與序列建模規劃 125
7.3.4 對象邊界與典型案例 125
7.3.5 分層規劃 126
7.3.6 實驗結果解讀原則 127
7.4 工程實踐 128
7.4.1 系統瓶頸與實時約束 128
7.4.2 批量推演、並行MCTS與前綴共享 128
7.4.3 模型誤差、安全保護與故障排查 129
7.4.4 雙層架構與調試監控 129
7.4.5 參數模板與實施步驟 129
7.5 本章小結 131
7.6 本章參考文獻 131
第8章 獎勵建模、策略學習與長期價值估計 133
8.1 獎勵建模：IRL與穩健性 134
8.1.1 獎勵在世界模型決策閉環中的作用 134
8.1.2 手工獎勵的局限與代碼生成 134
8.1.3 逆向強化學習與世界模型 135
8.1.4 從RLHF到DPO：偏好學習與對齊 137
8.1.5 獎勵模型的穩健性與不確定性 137
8.1.6 實驗結果解讀原則 138
8.2 策略學習：Dreamer的策略網絡與想象式更新 138
8.2.1 Dreamer的閉環架構與更新依賴 138
8.2.2 “策略-價值”目標構造：λ-return、解析梯度與價值網絡 140
8.2.3 Dreamer技術演化與對比 141
8.2.4 穩定訓練與分布式更新 143
8.2.5 實驗結果解讀原則 143
8.3 長期價值估計：λ-return與TD(λ) 144
8.3.1 n-step return：在短視與長程模型誤差之間 144
8.3.2 λ-return與TD(λ) 144
8.3.3 風險感知、失敗案例與探索擴展 145
8.3.4 實驗結果解讀原則 146
8.4 工程實踐 147
8.4.1 獎勵偏移檢測 147
8.4.2 分布漂移監控與日誌面板 148
8.4.3 常見故障排查與診斷 150
8.4.4 防禦性設計與在線自適應 150
8.4.5 參數模板與實施節奏 151
8.5 本章小結 151
8.6 本章參考文獻 152
第9章 具身智能與機器人 153
9.1 仿真引擎與世界模型雙向映射 153
9.1.1 底座價值與單向映射 153
9.1.2 反向映射核心實現 155
9.1.3 閉環架構與工程挑戰 157
9.2 環境不變性表征 160
9.2.1 核心內涵與傳統方法局限 160
9.2.2 主流方法體系 161
9.2.3 預測不變性與工程實踐 163
9.3 端到端控制閉環 166
9.3.1 核心邏輯與範式突破 166
9.3.2 兩大核心架構 167
9.3.3 完整流程與工程實踐 171
9.4 毫秒級延遲補償方案 173
9.4.1 系統延遲本質與傳統方案局限 173
9.4.2 主流延遲補償方案 174
9.4.3 工程組合與邊界 178
9.5 本章小結 179
9.6 本章參考文獻 179
第10章 自動駕駛 181
10.1 BEV空間建模 181
10.1.1 核心特性與靜態建模 181
10.1.2 動態建模核心架構 182
10.1.3 工程挑戰與落地價值 185
10.2 UniAD與端到端規劃 187
10.2.1 核心內涵與傳統架構瓶頸 187
10.2.2 規劃導向架構與核心模塊 187
10.2.3 世界模型增強與工程實踐 189
10.3 預測、規劃、安全與線上監控指標體系 192
10.3.1 傳統指標局限與設計準則 192
10.3.2 多維度評估指標體系 194
10.3.3 分層評估與工程實踐 197
10.4 數據同步與軌跡漂移監控 198
10.4.1 異構多傳感器數據同步 199
10.4.2 軌跡漂移成因與監控方法 200
10.4.3 修正策略與閉環架構 202
10.5 本章小結 204
10.6 本章參考文獻 205
第11章 世界模型作為Agent智能體的內部模擬器 206
11.1 潛空間動力學模型：在抽象表征中推演未來 207
11.1.1 問題背景：為什麼需要潛空間 207
11.1.2 代表性方法 208
11.1.3 設計啟示：潛空間路徑的核心規律 216
11.2 生成式世界模擬器：從內部模擬到可視化引擎 216
11.2.1 問題背景：為什麼需要生成式模擬 216
11.2.2 生成式世界模擬器的代表路徑 217
11.2.3 設計啟示：生成式路徑的核心規律 218
11.3 仿真器校準內部模擬器：虛擬到現實的橋梁 220
11.3.1 問題背景：仿真器是連接虛擬與現實的橋梁 220
11.3.2 核心機制：物理反饋與仿真校準 221
11.3.3 自主仿真器研制 224
11.4 VLA與世界模型的認知閉環：從語言理解到具身決策 227
11.4.1 問題背景：從語言到動作的鴻溝 227
11.4.2 閉環認知架構 227
11.4.3 案例深度解析 230
11.4.4 設計啟示：VLA+世界模型的核心規律 231
11.5 設計原則與技術選型框架 232
11.5.1 四種技術路徑的橫向比較 232
11.5.2 技術選型決策框架 233
11.5.3 常見反模式與落地建議 234
11.6 本章小結 235
11.7 本章參考文獻 235
第12章 多模態世界模型：視覺、語言、動作與同步解碼 237
12.1 視覺編碼：從靜態識別到BEV統一化 238
12.1.1 時序視覺模型：從運動建模到時空語義理解 239
12.1.2 分詞（tokenization）：視覺信息的離散化表示 240
12.1.3 BEV統一化空間表征 241
12.1.4 設計啟示：視覺編碼的核心規律 242
12.2 語言條件建模：指令到行為的三大對齊範式 243
12.2.1 問題背景：從開放指令到具體行動的鴻溝 243
12.2.2 行為克隆：以監督學習逼近專家行為 244
12.2.3 強化學習：在環境交互中自主發現最優策略 244
12.2.4 基於大模型的規劃：以語言先驗指導任務分解 245
12.2.5 多模態世界模型對語言條件建模的範式性變革 246
12.2.6 分層混合架構：工程化落地的系統設計 247
12.2.7 設計啟示：語言條件建模的核心規律 247
12.3 跨模態動力學：Transformer統一建模 248
12.3.1 問題背景：模態異構性的根本挑戰 248
12.3.2 代表性案例 250
12.3.3 關鍵挑戰與技術難點 251
12.3.4 未來方向 253
12.3.5 設計啟示：跨模態統一建模的核心規律 253
12.4 工程挑戰：同步解碼、token爆炸與序列並行 254
12.4.1 實際落地的核心挑戰 254
12.4.2 工程工具箱：同步、壓縮與並行 255
12.4.3 設計啟示：壓縮性能與收益的平衡 256
12.5 設計原則與技術選型框架 256
12.5.1 4類技術路徑的橫向比較 256
12.5.2 技術選型決策框架 257
12.5.3 常見反模式與落地建議 258
12.6 本章小結 259
12.7 本章參考文獻 259
第13章 數據工程：長尾采樣、噪聲健壯、因果數據與同步治理 261
13.1 長尾數據處理：重采樣、重要性采樣與工程實踐 261
13.1.1 長尾問題的分類學：從類別失衡到語義稀缺 261
13.1.2 長尾采樣理論：重采樣與重要性采樣 265
13.1.3 工程總結：構建數據基因工廠的核心準則 271
13.2 多傳感器同步：時鐘漂移與融合 272
13.2.1 多傳感器同步技術的演進：從時鐘對齊到潛空間自適應融合 275
13.2.2 多傳感器早期融合與世界模型建模 280
13.3 世界的因果性：可幹預建模與因果一致性 284
13.3.1 從統計關聯到可幹預世界模型 285
13.3.2 訓練目標：因果一致性與物理一致性的融合 286
13.3.3 視覺-語言-動作模型（VLA）的因果增強路徑 288
13.4 樹莓派小車仿真：長尾數據挖掘與模型微調實踐 290
13.4.1 實踐平臺與系統架構 291
13.4.2 簡易長尾觸發器的設計 292
13.4.3 數據處理流水線：從圖像增強到重采樣 294
13.4.4 長尾、噪聲與因果的工程架構 297
13.5 本章小結 300
13.6 本章參考文獻 300
第14章 訓練工程：穩定性、可擴展性與並行策略 303
14.1 訓練視角下的累積誤差抑制 303
14.1.1 累積誤差的數學本質 304
14.1.2 抑制策略：從訓練到推理的系統幹預 307
14.1.3 國產芯片上的工程挑戰與實踐 310
14.1.4 設計啟示 311
14.2 長序列訓練穩定性 311
14.2.1 數值不穩定性與梯度裁剪 311
14.2.2 指數移動平均 313
14.2.3 選擇性激活重計算 314
14.2.4 分段訓練、分布式同步與精度控制 316
14.2.5 行業案例與實證 318
14.2.6 設計啟示：誤差控制與架構設計 319
14.3 大規模分布式訓練 320
14.3.1 並行策略矩陣與技術縱深 320
14.3.2 異構並行調度的突破 322
14.3.3 面向MoE模型的混合並行深度優化 322
14.3.4 設計啟示、綜合見解與未來趨勢 323
14.4 訓練監控與異常檢測 324
14.5 本章小結 326
14.6 本章參考文獻 326
第15章 模型部署與推理工程：實時性、能耗與可靠性 329
15.1 在線推理：高性能架構 331
15.1.1 LLM推理中鍵值緩存管理的核心權衡 331
15.1.2 鍵值緩存管理 332
15.1.3 全鏈路延遲優化 334
15.2 邊緣側部署：輕量化與硬件感知 336
15.2.1 模型輕量化：量化與結構化剪枝 337
15.2.2 知識遷移與近似推斷 338
15.2.3 動態批處理參數的工程影響 339
15.3 吞吐量與通信優化 341
15.3.1 動態批處理策略 341
15.3.2 異步策略網絡調度與無鎖狀態管理 347
15.3.3 RPC通信優化 355
15.4 系統可靠性 359
15.4.1 實時健康監控 359
15.4.2 韌性設計：故障轉移、降級與回滾 359
15.4.3 安全防護體系 360
15.5 Jetson Nano邊緣部署案例 361
15.5.1 模型簡介與硬件適配 361
15.5.2 環境配置與模型量化 363
15.5.3 部署工程實踐 365
15.6 本章小結 367
15.7 本章參考文獻 367
第16章 未來世界模型：基礎世界模型、規模定律與因果建模 370
16.1 世界模型的技術路線：生成式與非生成式 370
16.1.1 生成式路線：基礎世界模型 371
16.1.2 非生成式路線：輕量化世界模型 372
16.2 規模定律與因果可解釋性 375
16.2.1 模型容量與數據量的量化規律 375
16.2.2 計算效率與泛化邊界 375
16.2.3 因果發現與結構化幹預 376
16.3 未來研究方向與路線圖 377
16.3.1 高效學習與規模擴展 377
16.3.2 多智能體與社會認知 377
16.3.3 發展路線圖 378
16.4 應用落地：成本、架構與場景邊界 381
16.4.1 失效經濟學與應用邊界 381
16.4.2 架構適配原則 381
16.5 本章小結 383
16.6 本章參考文獻 383
