世界模型：從預測、規劃到具身智能

第一部分認知基石
第1 章緒論3
1.1 智能的本質：在不確定性中進行預測與規劃3
1.1.1 智能的多維定義3
1.1.2 不確定性：物理世界的本質特征4
1.1.3 預測與規劃：智能的雙翼5
1.1.4 人類智能中的預測與規劃8
1.2 世界模型：連接感知與行動的橋梁9
1.2.1 世界模型的定義與功能9
1.2.2 無模型與有模型方法的對比13
1.3 技術演進路線15
1.3.1 從無模型到有模型15
1.3.2 從判別式到生成式16
1.3.3 邁向基礎世界模型18
1.4 本章小結21
第2 章學習與搜索的數學基礎22
2.1 序列決策問題與馬爾可夫決策過程23
2.1.1 馬爾可夫決策過程與馬爾可夫性質23
2.1.2 策略、價值函數與貝爾曼方程24
2.1.3 求解馬爾可夫決策過程的經典方法25
2.2 從分類到預測：策略與價值的函數近似26
2.2.1 神經網絡作為通用函數近似器26
2.2.2 價值函數近似：從Q-Learning 到DQN 27
2.2.3 策略函數近似：策略梯度方法28
2.2.4 變分推斷30
2.2.5 從無模型到有模型強化學習32
2.3 規劃方法概覽33
2.3.1 模型預測控制33
2.3.2 經典啟發式搜索34
2.3.3 基於梯度的軌跡優化35
2.3.4 符號規劃35
2.3.5 規劃方法的對比與選擇36
2.4 蒙特卡洛樹搜索37
2.4.1 規劃範式37
2.4.2 從Rollout 算法到MCTS38
2.4.3 MCTS 四步法39
2.4.4 UCB 算法與UCT 算法：探索與利用的平衡41
2.4.5 MCTS 的理論性質42
2.5 學習與搜索的互補43
2.5.1 系統1：神經網絡的快速直覺43
2.5.2 系統2：MCTS 的深思熟慮44
2.5.3 雙系統協作：AlphaZero 的成功範式44
2.5.4 系統2 的兩種形式46
2.6 實踐案例：構建一個基於純搜索的決策智能體46
2.6.1 井字棋環境定義47
2.6.2 MCTS 節點與核心算法實現48
2.6.3 案例小結與擴展思考53
2.7 本章小結53

第二部分決策導向的世界模型
第3 章神經網絡引導的搜索57
3.1 策略價值網絡的融合架構58
3.1.1 引入神經網絡的必要性分析59
3.1.2 雙頭結構59
3.1.3 訓練目標65
3.2 探索與利用的平衡65
3.2.1 MCTS 中的探索與利用65
3.2.2 PUCT：先驗引導的探索機制66
3.2.3 Dirichlet 噪聲與溫度參數68
3.2.4 在不同訓練階段的探索與利用平衡71
3.3 自我博弈：從零開始的數據生成與策略疊代72
3.3.1 為什麼需要自我博弈72
3.3.2 自我博弈的完整流程73
3.3.3 自我博弈的理論洞察75
3.3.4 收斂性分析76
3.4 實踐案例：以五子棋為例探究AlphaZero 的實現78
3.4.1 環境定義：五子棋78
3.4.2 策略價值網絡80
3.4.3 基於PUCT 的MCTS 81
3.4.4 自我博弈訓練循環83
3.4.5 運行示例與性能分析85
3.4.6 KataGo 與ELF OpenGo 的啟示與擴展探究86
3.5 本章小結87
第4 章基於隱狀態空間的規劃89
4.1 從AlphaZero 到通用智能90
4.1.1 決策環境規則的局限性90
4.1.2 有模型強化學習的演進路徑91
4.2 規劃範式的演變：從生成式重建到隱狀態空間預測92
4.2.1 分離式學習與聯合式學習92
4.2.2 基於重建的表征學習94
4.2.3 基於價值等價原理的表征學習96
4.3 聯合嵌入預測架構97
4.3.1 JEPA 家族的演進98
4.3.2 I-JEPA、V-JEPA 2 與VL-JEPA 100
4.4 無需規則的隱狀態空間規劃：MuZero 104
4.4.1 隱狀態空間模型構建105
4.4.2 隱狀態空間內的MCTS 106
4.4.3 端到端聯合訓練107
4.4.4 基於重分析的樣本效率提升107
4.5 MuZero 家族的演進108
4.6 實踐案例：MuZero 網絡架構的實現109
4.6.1 環境設置與具體實現109
4.6.2 隱狀態空間內的MCTS 實現114
4.6.3 端到端的訓練流程115
4.6.4 訓練動力學與表征特性分析116
4.7 本章小結117
第5 章基於隱狀態空間規劃的相關進展118
5.1 連續動作空間中的采樣與規劃118
5.1.1 Sampled MuZero 算法設計118
5.1.2 基於采樣的策略提升120
5.1.3 樹搜索與策略提升123
5.2 隨機與部分可觀測環境的適應性124
5.2.1 後狀態：在搜索樹中引入隨機性124
5.2.2 隨機模型與離散碼本126
5.2.3 Stochastic MuZero 模型設計、訓練與推斷127
5.3 高效模型學習與采樣策略130
5.3.1 EfficientZero 與高效模型學習130
5.3.2 MENTS 與最大熵策略133
5.3.3 Gumbel MuZero 與策略提升135
5.4 樹搜索時間成本優化136
5.4.1 WU-UCT：並行化MCTS136
5.4.2 V-MCTS：虛擬擴展與自適應終止規則140
5.4.3 實踐案例：Sampled MuZero 的實現141
5.5 本章小結145

第三部分生成導向的世界模型
第6 章基於循環狀態空間的規劃149
6.1 動力學的概率表征：從循環神經網絡到循環狀態空間模型150
6.1.1 確定性循環動力學的局限性150
6.1.2 循環狀態空間模型154
6.2 在“夢境”中學習：基於想象的策略優化157
6.2.1 視界困境與不確定性：從MVE 到STEVE158
6.2.2 分支回放策略與可控誤差：MBPO159
6.2.3 隱狀態空間中的想象優化：Dreamer 系列160
6.3 架構演進：從Dreamer 到通用世界模型163
6.3.1 骨幹網絡革新：S4WM 與結構化狀態空間世界模型164
6.3.2 多模態世界模型：語言作為未來預測信號166
6.3.3 針對特定瓶頸的結構化改造167
6.4 實踐案例：Dreamer 的實現169
6.5 本章小結200
第7 章基於Transformer 的世界模型202
7.1 從循環狀態空間模型到Transformer 202
7.1.1 序列依賴建模202
7.1.2 計算效率與記憶機制204
7.1.3 擴展定律206
7.2 基於離散隱狀態空間的方法208
7.2.1 IRIS：離散自回歸想象209
7.2.2 Δ-IRIS：上下文感知的詞元化與高效建模213
7.3 基於連續與混合隱狀態空間的方法214
7.3.1 STORM：隨機性與確定性的混合建模215
7.3.2 UniZero：統一的可擴展隱狀態空間規劃217
7.4 實踐案例：UniZero 的實現220
7.4.1 配置與啟動220
7.4.2 核心源碼解析與結果分析221
7.5 本章小結228
第8 章基於擴散模型構建世界模型230
8.1 生成模型基礎230
8.1.1 生成對抗網絡231
8.1.2 變分自編碼器232
8.1.3 歸一化流模型234
8.1.4 擴散模型235
8.1.5 流匹配與擴散模型的統一視角238
8.1.6 擴散模型為何適合構建世界模型241
8.2 Diffusion Transformer 242
8.2.1 從U-Net 到Transformer 的範式轉變242
8.2.2 DiT 架構的核心設計243
8.2.3 擴散模型的擴展定律246
8.2.4 Stable Diffusion 3 與相關進展250
8.3 視頻生成模型252
8.3.1 視頻生成模型概覽253
8.3.2 視頻擴散模型的數學基礎254
8.3.3 擴散模型的能力與挑戰：以Sora 為例256
8.3.4 大規模視頻生成的公開方案：Movie Gen 258
8.3.5 基於自回歸世界模型的VideoPoet 259
8.4 擴散模型與世界模型：以DIAMOND 為例261
8.5 視頻生成模型與物理規律263
8.6 實踐案例：基於DiT 的圖像生成266
8.6.1 實現過程與核心源碼解析267
8.6.2 模型訓練與結果分析272
8.7 本章小結274
第9 章基於交互的世界模型276
9.1 多模態統一表征277
9.1.1 視覺詞元化277
9.1.2 時空表征的離散化278
9.1.3 統一序列接口280
9.2 多模態大模型的架構演變：從連接器範式到原生多模態281
9.3 全模態模型285
9.3.1 Qwen3-Omni 架構286
9.3.2 聯合訓練與高層世界模型288
9.4 動作條件生成與控制289
9.4.1 無監督動作發現290
9.4.2 多模態可控生成292
9.5 實踐案例：Qwen3-Omni 交互式多模態推理294
9.5.1 交互式生成實現過程294
9.5.2 官方倉庫的結果展示299
9.6 本章小結300

第四部分具身世界模型
第10 章視覺-語言-動作模型與機器人控制305
10.1 VLA 範式：視覺、語言與動作統一建模305
10.1.1 從專用策略到通用機器人策略306
10.1.2 統一文本與動作生成309
10.1.3 從語義泛化到動作推理311
10.2 聯合微調：保持語義能力並註入控制能力313
10.2.1 異構數據的統一提示模板313
10.2.2 聯合微調帶來的遷移與泛化316
10.2.3 公開機器人數據集與跨形態數據生態316
10.3 離散動作控制的其他進展318
10.3.1 OpenVLA：雙視覺編碼器與參數高效適配318
10.3.2 GR-2：通過視頻預測輔助動作規劃322
10.4 實踐案例：基於OpenVLA 的指令跟隨微調323
10.4.1 動作量化與詞元映射324
10.4.2 模型構建與LoRA 配置325
10.4.3 加載量化模型與模型訓練326
10.4.4 閉環推理與控制328
10.5 本章小結330
第11 章通用具身策略332
11.1 問題設定333
11.2 基於擴散模型構建控制策略334
11.2.1 基於擴散模型的條件動作生成與動作塊建模334
11.2.2 多峰動作分布建模336
11.2.3 從分數匹配到流匹配337
11.3 GenerativeRL：擴散策略的實踐框架338
11.4 π 系列341
11.4.1 π0：基於預訓練視覺語言模型的連續控制341
11.4.2 π05：開放世界泛化與動作表示擴展343
11.4.3 π?06：從靜態模仿走向經驗回流345
11.5 跨形態與跨任務的泛化能力構建345
11.5.1 核心問題：共享什麼，適配什麼345
11.5.2 代表性工作及更多相關進展346
11.6 虛實結合：利用世界模型生成訓練數據349
11.6.1 先擴大視覺分布，再擴大物理分布349
11.6.2 世界模型：從環境隨機化到環境生成350
11.7 本章小結352
第12 章智能體強化學習353
12.1 範式轉變：從基於人類反饋的強化學習到智能體強化學習354
12.1.1 基於人類反饋的強化學習：單步決策的馬爾可夫決策過程354
12.1.2 智能體強化學習：時間擴展的部分可觀測馬爾可夫決策過程355
12.1.3 核心強化學習算法357
12.2 世界模型視角下的智能體能力360
12.2.1 規劃360
12.2.2 推理：從系統1 到系統2364
12.2.3 工具使用：擴展世界模型的邊界367
12.2.4 記憶：動態世界模型的狀態維護369
12.2.5 自我提升：世界模型的在線學習370
12.2.6 感知371
12.3 統一視角：世界模型、強化學習與搜索的三位一體373
12.3.1 認知架構的核心公式373
12.3.2 組件解析與協同機制373
12.3.3 從AlphaZero 到智能體強化學習375
12.3.4 通往通用人工智能的統一路徑376
12.4 挑戰與未來方向376
12.4.1 因果性與泛化：從統計學習到因果理解376
12.4.2 可信性與安全：從黑箱決策到可驗證遠見377
12.4.3 規模化與效率：從測試時計算到自適應認知377
12.4.4 具身化與物理錨定：從語言空間到物理世界378
12.4.5 小結與延伸閱讀378
12.5 本章小結379
結語381
參考文獻385