物聯網監測數據的質量控制技術

目錄

第1章  緒論 1

1.1  研究背景 1

1.2  研究意義 1

1.3  研究內容與貢獻 2

1.4  本書的組織結構 3

1.5  課題來源 5

第2章  相關概念及研究綜述 6

2.1  時間序列數據 6

2.1.1  單變量時間序列數據 6

2.1.2  多變量時間序列數據 6

2.2  物聯網中數據質量的保障機制 6

2.2.1  異常值檢測 7

2.2.2  插值 7

2.2.3  數據集成 7

2.2.4  重復數據刪除 8

2.2.5  數據清洗 8

2.3  異常分類 9

2.3.1  點異常 9

2.3.2  上下文異常 9

2.3.3  集合異常 9

2.4  物聯網監測數據的異常檢測方法 9

2.4.1  基於無監督的異常檢測方法 10

2.4.2  基於半監督的異常檢測方法 12

2.4.3  基於有監督的異常檢測方法 15

2.5  數據缺失的類型 16

2.5.1  單一數據點缺失 16

2.5.2  單一變量缺失 17

2.5.3  多變量缺失 17

2.5.4  時間序列數據缺失 17

2.6  數據缺失的處理方法 17

2.6.1  刪除法 17

2.6.2  插補法 18

2.6.3  模型建模法 19

第3章  面向物聯網監測數據流的無監督異常檢測算法 22

3.1  引言 22

3.2  基於投影索引近鄰的累計局部離群因子算法 22

3.2.1  算法描述 22

3.2.2  滑動窗口維護 23

3.2.3  基於投影索引近鄰的窗口數據局部離群因子增量更新 24

3.2.4  算法復雜度分析 26

3.3  本章實驗與分析 26

3.3.1  數據集 27

3.3.2  評估指標 27

3.3.3  實驗結果與分析 27

3.4  可行性研究 31

3.5  本章小結 31

第4章  基於半監督的物聯網監測數據異常檢測算法 33

4.1  引言 33

4.2  問題描述 34

4.3  半監督異常檢測算法框架 34

4.3.1  算法架構 34

4.3.2  時間卷積網絡特征建模損失函數 35

4.3.3  基於變分自編碼器的對抗網絡架構異常檢測算法 35

4.4  本章實驗與分析 38

4.4.1  數據集 38

4.4.2  評估指標 39

4.4.3  基準算法 39

4.4.4  實驗結果與分析 39

4.4.5  參數分析 43

4.5  消融實驗 45

4.6  本章小結 46

第5章  基於無監督的多維復雜特征數據異常檢測方法 47

5.1  引言 47

5.2  非參數擬合高斯混合分布數據特征的異常檢測方法 47

5.2.1  方法描述 47

5.2.2  累積概率波動計算 48

5.2.3  異常檢測 50

5.2.4  方法可解釋性分析 51

5.3  本章實驗與分析 52

5.3.1  數據集 52

5.3.2  評估指標 53

5.3.3  實驗環境與設置 53

5.3.4  實驗結果與分析 54

5.4  可擴展性分析 57

5.5  本章小結 58

第6章  基於半監督的多維復雜特征數據異常檢測方法 59

6.1  引言 59

6.2  基於累積概率波動和自動化聚類的異常檢測方法 59

6.2.1  方法架構 59

6.2.2  數據預處理 60

6.2.3  DBSCAN的參數自動搜索 62

6.2.4  異常檢測 68

6.3  本章實驗與分析 69

6.3.1  數據集 69

6.3.2  評估指標 70

6.3.3  基準方法 70

6.3.4  實驗結果與分析 71

6.4  消融實驗 75

6.5  本章小結 76

第7章  基於無監督的多維復雜時序數據異常檢測方法 78

7.1  引言 78

7.2  基於變分自編碼器和高斯混合模型的異常檢測方法 78

7.2.1  時序數據的形式化表達 79

7.2.2  高斯混合潛在空間中的成分量數 80

7.2.3  異常檢測方法 81

7.3  本章實驗與分析 83

7.3.1  數據集 83

7.3.2  實驗結果與分析 84

7.4  本章小結 85

第8章  基於GAIN-ARN生成對抗插補網絡模型的缺失數據檢測方法 86

8.1  引言 86

8.2  問題定義 87

8.3  系統模型 88

8.3.1  GAIN-ARN模型架構 88

8.3.2  自註意力機制 90

8.3.3  殘差連接 91

8.4  本章實驗與分析 93

8.4.1  數據集 93

8.4.2  實驗設置 93

8.4.3  實驗分析 94

8.5  實例分析 95

8.6  消融實驗 97

8.7  本章小結 98

第9章  基於CPC-GAIN的缺失數據檢測方法 99

9.1  引言 99

9.2  問題定義 100

9.3  模型架構 101

9.3.1  聚類與分類 102

9.3.2  概率模型 103

9.3.3  生成器和判別器 105

9.4  本章實驗與分析 107

9.4.1  數據集 107

9.4.2  實驗設置 108

9.4.3  實驗分析 109

9.4.4  模型泛化性驗證 113

9.5  計算復雜度與運行時間分析 114

9.6  靈敏度分析 115

9.7  消融實驗 117

9.8  本章小結 119

第10章  結論 120

10.1  本書的主要貢獻與結論 120

10.2  進一步的工作 122

參考文獻 123