基於深度強化學習的多智能體協同算法關鍵技術研究

第一章 緒論
1.1 研究內容的背景與意義
1.2 多智能體強化學習協同算法的研究現狀
1.2.1 基於通信交流決策的多智能體強化學習研究現狀
1.2.2 基於自主信息決策的多智能體強化學習研究現狀
1.3 多智能體強化學習面臨的關鍵問題
1.3.1 環境信息利用不充分的問題
1.3.2 模型 新時序差分誤差較大的問題
1.3.3 值分解方法表示能力不全的問題
1.3.4 離線數據的分布偏移的問題
1.4 主要貢獻與創新
1.5 本書結構安排
第二章 相關研究理論與基礎
2.1 強化學習基礎理論
2.2 強化學習基本算法
2.2.1 基於值函數的深度強化學習
2.2.2 基於Actor-Critic的深度強化學習
2.3 多智能體強化學習基礎概念
2.4 多智能體強化學習基本算法
2.4.1 獨立式學習的多智能體算法
2.4.2 集中式學習-分布式執行的多智能體算法
2.5 強化學習算法與各章節的對應關系
2.6 本章小結
第三章 基於協同圖信息增強的多智能體協同算法
3.1 引言
3.2 多智能體集中式訓練算法基礎
3.2.1 中心化訓練-分布式執行框架
3.2.2 圖卷積神經網絡和註意力機制
3.3 基於協同圖信息增強的多智能體協同算法
3.3.1 算法總覽
3.3.2 基於註意力機制的歸因模塊
3.3.3 簡化加權圖模塊
3.3.4 AWGmix的具體實現步驟
3.4 實驗與結果分析
3.4.1 實驗環境介紹與參數設置
3.4.2 對比評估結果
3.4.3 消融實驗
3.5 本章小結
第四章 基於自適應正則Anderson加速的多智能體協同算法
4.1 引言
4.2 Dec-POMDP與CTDE訓練框架
4.2.1 Dec-POMDP
4.2.2 CTDE框架與相關算法
4.2.3 Anderson加速及其在值疊代中的應用
4.3 多智能體場景中的RA3方法
4.3.1 聯合狀態-動作值函數中的AA
4.3.2 AA中的自適應正則化
4.3.3 RA3在多智能體強化學習算法中的具體應用步驟
4.4 實驗與結果分析
4.4.1 實驗環境介紹與參數設置