雲邊端協同計算 基於強化學習

李秀華 重慶大學大數據與軟件學院教授、博士生導師，重慶英才·青年拔尖人才，重慶市學術技術帶頭人後備人選，信息物理社會可信服務計算教育部重點實驗室——智能軟件與服務計算研究所所長，博士畢業於加拿大不列顛哥倫比亞大學（UBC）電氣與計算機工程系。近年來主要從事移動邊緣計算/緩存、邊緣智能、大模型訓練與推理、智能網聯汽車等方面研究，在IEEE JSAC、IEEE COMST、IEEE TSC、IEEE TWC、IEEE TCOM、IEEE TCC、ACM TOSN、IEEE INFOCOM等著名國際期刊/會議上發表論文120多篇；申請專利50餘項，授權30餘項；獲得軟件著作權約10項。參與多個國際國內期刊/會議的組織工作，擔任Computer Communications期刊編輯、Wireless Networks與ZTE Communications等期刊客座編輯、EAI 6GN 2024大會主席、EAI 6GN 2021程序委員會共同主席等。主持國家級、省部級、企業級項目與課題20餘項，獲得省部級一等獎、二等獎共3項。

前言
第1章 雲邊端協同計算基礎
1.1 雲邊端協同計算概述
1.2 雲邊端協同計算的挑戰
1.3 雲邊端協同計算技術
1.3.1 邊端協同計算卸載
1.3.2 雲邊協同計算卸載
1.3.3 雲邊端協同緩存
1.3.4 聯合服務緩存和計算卸載
1.4 雲邊端協同計算的應用
1.4.1 基於多智能體強化學習的邊端協同計算卸載
1.4.2 基於分布式強化學習的雲邊協同計算卸載
1.4.3 基於聯邦深度強化學習的雲邊端協同緩存
1.4.4 基於分層強化學習的聯合服務緩存和計算卸載
1.4.5 各個應用之間的關系
1.5 本章小結
第2章 深度強化學習基礎
2.1 機器學習和深度學習
2.1.1 PyTorch
2.1.2 監督學習、偏差和過擬合的概念
2.1.3 無監督學習
2.1.4 深度學習方法
2.2 強化學習
2.2.1 強化學習框架
2.2.2 強化學習的實驗環境Gym
2.2.3 從數據中學習策略的不同設置
2.3 基於價值的深度強化學習方法
2.3.1 Q學習
2.3.2 適應性Q學習
2.3.3 深度Q網絡
2.3.4 雙重深度Q網絡
2.3.5 決鬥網絡架構
2.3.6 分布式深度Q網絡
2.3.7 多步學習
2.3.8 DQN與其他變體的組合
2.4 基於策略梯度的深度強化學習方法
2.4.1 隨機策略梯度
2.4.2 確定性策略梯度
2.4.3 自然策略梯度
2.4.4 信任域優化
2.4.5 策略梯度和Q學習的結合
2.5 基於模型的深度強化學習方法
2.5.1 純基於模型的方法
2.5.2 集成無模型和基於模型的方法
2.6 多智能體強化學習
2.6.1 多智能體強化學習概述
2.6.2 多智能體強化學習的符號表示和構建
2.6.3 多智能體強化學習分類
2.6.4 主要挑戰和未來發展趨勢
2.7 本章小結
第3章 基於多智能體強化學習的邊端協同計算卸載
3.1 引言
3.2 邊端協同智能計算架構
3.2.1 邊端協同計算拓撲結構
3.2.2 計算卸載問題
3.3 基於多智能體強化學習的計算卸載方案
3.3.1 LSTM賦能的決鬥DQN算法
3.3.2 神經網絡結構
3.3.3 算法訓練過程
3.3.4 代碼
3.3.5 計算覆雜度分析
3.4 性能評估
3.4.1 參數設置和基準方案
3.4.2 算法收斂性能
3.4.3 五種卸載方案的可擴展性
3.5 本章小結
第4章 基於分布式強化學習的雲邊協同計算卸載
4.1 引言
4.2 系統建模和優化問題
4.2.1 MEC架構
4.2.2 服務延遲模型
4.2.3 雲邊協同計算卸載模型
4.2.4 優化問題建模
4.3 智能計算卸載方案
4.3.1 SAC
4.3.2 CSACO算法實現
4.3.3 DSACO算法實現
4.3.4 代碼
4.3.5 計算和通信覆雜性分析
4.4 性能評估
4.4.1 參數設置
4.4.2 五種卸載方案的收斂性
4.4.3 五種卸載方案的可擴展性和效率
4.5 本章小結
第5章 基於聯邦深度強化學習的雲邊端協同緩存
5.1 引言
5.2 系統模型和優化問題
5.2.1 推薦賦能的邊緣緩存架構
5.2.2 內容推薦模型
5.2.3 系統成本模型
5.2.4 緩存替換模型
5.2.5 優化問題
5.3 去中心化的推薦賦能的邊緣緩存方案
5.3.1 問題分析與分解
5.3.2 本地請求處理
5.3.3 緩存替換處理
5.3.4 代碼
5.3.5 計算覆雜度
5.4 性能評估
5.4.1 參數設置和基準方案
5.4.2 收斂性能
5.4.3 不同邊緣服務器數量的影響
5.4.4 邊緣服務器不同緩存大小的影響
5.4.5 不同數量終端設備的影響
5.4.6 軟命中的影響
5.5 本章小結
第6章 基於分層強化學習的聯合服務緩存和計算卸載
6.1 引言
6.2 系統模型和優化問題
6.2.1 服務緩存模型
6.2.2 計算卸載模型
6.2.3 通信和計算模型
6.2.4 優化問題
6.3 問題分析與分解
6.3.1 案例一：邊緣節點不合作
6.3.2 案例二：一個時間片刻內優化
6.3.3 問題分解
6.4 聯合服務緩存和計算卸載方案
6.4.1 為什麼要分層強化學習
6.4.2 第一階段：服務緩存處理的邊緣智能體
6.4.3 第二階段：計算卸載處理的中心智能體
6.4.4 JSC2O的分層強化學習
6.4.5 算法覆雜度分析
6.4.6 代碼
6.5 性能評估
6.5.1 參數設置和基準方案
6.5.2 收斂性能
6.5.3 不同邊緣節點數量的影響
6.5.4 不同服務數量的影響
6.6 本章小結
縮略詞列表
參考文獻