人工智能驅動的網絡管理與技術

吳玉磊 英國布裏斯托大學（University of Bristol）科學與工程學部（Faculty of Science and Engineering）以及布裏斯托數字未來研究院（Bristol Digital Futures Institute）副教授。研究方向涵蓋數字孿生、內生智能網絡、邊緣智能、可信AI、與具身智能。現任/曾擔任IEEE Transactions on Network and Service Management、IEEE Transactions on Network Science and Engineering副編輯，以及Computer Networks、Future Generation Computer Systems、Nature Scientific Reports編委會委員。IEEE與ACM 會員，英國高等教育學會會士（FHEA）。

葛敬國 現任 信息工程研究所研究員、 大學網絡空間安全學院教授。研究方向包括計算機網絡體系結構、5G/6G移動網絡、軟件定義網絡、數據中心與智算中心網絡、網絡管理與安全智能運維等。已發表60余篇學術論文，擁有28項授權發明專利，參與制定3項ITU IMT-2020 標準。

李佟信息工程研究所 工程師。研究與工程領域涵蓋計算機網絡體系結構、雲原生網絡、軟件定義網絡、網絡運維與安全管理等。發表學術論文10余篇，參與制定2項ITU IMT-2020 標準， 完成網絡編排系統、網絡運維系統、網絡安全管理系統等大型軟件的研發

前言

致謝

第1章 引言1

1.1 簡介1

1.2 本書組織結構2

1.3 總結4

參考文獻4

第2章 當網絡管理和網絡安全管理遇到人工智能和機器學習8

2.1 簡介8

2.2 基於機器學習的網絡管理和網絡安全管理架構9

2.3 監督學習10

2.3.1 分類11

2.3.2 回歸12

2.4 半監督和無監督學習12

2.4.1 聚類13

2.4.2 降維14

2.4.3 半監督學習14

2.5 強化學習14

2.5.1 基於策略的強化學習16

2.5.2 基於價值的強化學習17

2.6 網絡管理和網絡安全管理產品18

2.6.1 網絡管理產品18

2.6.2 網絡安全管理產品21

2.7 網絡管理和網絡安全管理標準23

2.7.1 網絡管理標準23

2.7.2 網絡安全管理標準25

2.8 網絡管理和網絡安全管理項目26

2.8.1 Poseidon26

2.8.2 NetworkML27

2.8.3 CredentialDigger28

2.8.4 Adversarial Robustness Toolbox29

2.9 網絡管理和網絡安全管理概念驗證29

2.9.1 分類29

2.9.2 主動學習30

2.9.3 概念漂移檢測31

2.10 總結31

參考文獻32

第3章 自治網絡管理的網絡意圖學習38

3.1 簡介38

3.2 動機40

3.3 意圖符號推斷的層次表示與學習框架41

3.3.1 符號語義學習41

3.3.2 符號結構推斷44

3.4 實驗45

3.4.1 數據集45

3.4.2 符號語義學習實驗45

3.4.3 符號結構推斷實驗47

3.4.4 符號結構遷移實驗48

3.5 總結49

參考文獻50

第4章 基於分層強化學習的虛擬網絡嵌入51

4.1 簡介51

4.2 動機52

4.3 預備知識及符號表示53

4.3.1 虛擬網絡嵌入53

4.3.2 強化學習55

4.3.3 分層強化學習55

4.4 VNEHRL架構55

4.4.1 概覽55

4.4.2 高級智能體57

4.4.3 低級智能體58

4.4.4 訓練方法59

4.5 案例分析60

4.5.1 實驗設置60

4.5.2 算法比較60

4.5.3 評估結果60

4.6 相關工作62

4.6.1 傳統算法62

4.6.2 基於機器學習的算法63

4.7 總結63

參考文獻64

第5章 面向網絡流量分類的概念漂移檢測68

5.1 數據流處理領域中機器學習的有關概念68

5.1.1 假設和約束68

5.1.2 概念漂移及解決方案69

5.2 使用主動方法解決入侵檢測領域的概念漂移問題70

5.2.1 應用背景70

5.2.2 系統工作流程71

5.3 基於CVAE的概念漂移檢測器72

5.3.1 基於CVAE的漂移指示器72

5.3.2 基於CVAE的漂移分析器73

5.3.3 基於CVAE的概念漂移檢測器性能評估74

5.4 在實際網絡中部署和實驗76

5.4.1 數據采集和特征提取77

5.4.2 數據分析和參數設置78

5.4.3 結果分析78

5.5 未來研究的挑戰和未解決問題79

5.5.1 自適應閾值m79

5.5.2 漂移探測器的計算成本80

5.5.3 主動學習80

5.6 總結80

參考文獻80

第6章 基於輕量級神經網絡的在線加密流量分類83

6.1 簡介83

6.2 動機83

6.3 預備知識84

6.3.1 問題定義84

6.3.2 數據包交互84

6.4 模型架構85

6.4.1 預處理85

6.4.2 特征提取86

6.5 案例分析88

6.5.1 評估指標88

6.5.2 模型比較89

6.5.3 數據集89

6.5.4 評估結果90

6.6 相關工作94

6.6.1 加密流量分類94

6.6.2 基於數據包的方法94

6.6.3 基於流的方法94

6.7 總結96

參考文獻96

第7章 基於上下文感知學習的魯棒異常檢測100

7.1 簡介100

7.2 日誌事件103

7.3 AllRobust方法105

7.3.1 問題介紹105

7.3.2 日誌解析105

7.3.3 日誌向量化107

7.3.4 異常檢測110

7.4 實驗112

7.4.1 數據集113

7.4.2 模型評估指標115

7.4.3 基於不平衡日誌數據的有監督深度學習日誌異常檢測115

7.4.4 基於不平衡日誌數據的半監督深度學習日誌異常檢測119

7.5 討論123

7.6 總結124

參考文獻124

第8章 基於未知、不平衡和少樣本日誌數據的異常分類130

8.1 簡介130

8.2 實例132

8.2.1 日誌分析的特征提取132

8.2.2 少樣本問題134

8.3 方法論135

8.3.1 數據預處理135

8.3.2 OpenLog架構138

8.3.3 訓練過程142

8.3.4 目標函數143

8.4 實驗143

8.4.1 實驗設計143

8.4.2 數據集145

8.4.3 基於未知類別數據的實驗148

8.4.4 基於不平衡數據的實驗149

8.4.5 基於少樣本數據的實驗150

8.5 討論151

8.6 總結152

參考文獻152

第9章 零信任網絡158

9.1 簡介158

9.1.1 背景158

9.1.2 零信任網絡概述158

9.2 零信任網絡解決方案160

9.2.1 基於訪問代理的零信任網絡160

9.2.2 基於軟件定義邊界的零信任網絡161

9.2.3 基於微隔離的零信任網絡162

9.3 機器學習驅動的零信任網絡164

9.3.1 信息融合166

9.3.2 決策制訂167

9.4 總結168

參考文獻169

第10章 智能網絡管理和運維系統172

10.1 簡介172

10.2 傳統運維系統172

10.2.1 運維系統的發展172

10.2.2 開源的運維系統174

10.2.3 小結180

10.3 安全運維180

10.3.1 簡介180

10.3.2 開源安全工具181

10.3.3 小結187

10.4 AIOps190

10.4.1 簡介190

10.4.2 開源的AIOps和算法190

10.4.3 小結198

10.5 基於機器學習的網絡安全監控管理系統198

10.5.1 架構198

10.5.2 物理設施層199

10.5.3 虛擬資源層200

10.5.4 編排層200

10.5.5 策略層200

10.5.6 語義描述層201

10.5.7 應用層201

10.5.8 大數據智能分析中心201

10.5.9 可編程測量與審計202

10.5.10 整體流程202

10.5.11 小結202

10.6 總結203

參考文獻203

第11章 總結、研究挑戰及開放性問題206

11.1 總結206

11.2 研究挑戰及開放性問題206

11.2.1 自治網絡207

11.2.2 強化學習賦能解決方案207

11.2.3 流量分類208

11.2.4 異常檢測208

11.2.5 零信任網絡209

參考文獻209

縮略語211