物聯網大數據處理技術與實踐（第2版）

本書是作者在物聯網大數據平臺等企業合作項目及國家級項目中多年實踐的結晶。本書首先對物聯網大數據技術體系進行了系統歸納，闡述了物聯網環境下感知數據的特性、數據模型、事務模型及調度處理方法等核心概念與關鍵技術，並對物聯網大數據存儲、管理、計算及分析的基本概念與關鍵技術進行了剖析；其次介紹了物聯網大數據管理與應用的感知數據庫和平臺產品，所介紹的產品來自作者所在團隊的實際應用項目，大部分在物聯網項目中得到了實踐應用；最後給出了適合讀者在開源軟件上動手實踐的相關案例。

第1篇 緣起與發展趨勢篇
第1章 物聯網與產業發展 3
1.1 物聯網產業的發展 3
1.1.1 傳感器與智能硬件 4
1.1.2 物聯網服務平臺 5
1.1.3 工業4.0與CPS 6
1.2 物聯網與大數據 7
1.3 物聯網產業的挑戰與機遇 9
1.3.1 物聯網產業面臨的挑戰 9
1.3.2 物聯網操作系統與數據庫 10
1.3.3 物聯網大數據處理與應用 11
第2章 大數據處理技術的發展 12
2.1 大數據存儲和管理技術 12
2.1.1 面向大數據的文件系統 13
2.1.2 面向大數據的數據庫系統 15
2.2 大數據計算技術 18
2.2.1 批處理計算模式 19
2.2.2 交互式查詢計算模式 20
2.2.3 流處理計算模式 21
2.2.4 大數據實時處理架構：Lambda及Kappa 23
2.3 大數據分析技術 25
2.3.1 傳統結構化數據分析 26
2.3.2 文本數據分析 26
2.3.3 多媒體數據分析 27
2.3.4 社交網絡數據分析 27
2.3.5 物聯網傳感數據分析 28
2.3.6 大數據分析技術的發展趨勢 28
第2篇 技術解析篇
第3章 物聯網大數據技術體系 31
3.1 物聯網中的大數據挑戰 31
3.1.1 互聯網大數據的特徵 31
3.1.2 物聯網大數據的特徵 34
3.2 技術體系 37
3.2.1 感知數據採集與傳輸 37
3.2.2 感知數據管理與實時計算 41
3.2.3 物聯網平臺與大數據中心 42
第4章 感知數據特性與模型 43
4.1 感知數據的特性分析 43
4.1.1 常用的感知數據類型 43
4.1.2 感知數據的主要特徵 45
4.2 感知數據的表示與組織 48
4.2.1 物聯網數據模型 48
4.2.2 時態對象模型 49
4.3 感知數據庫的定位與特徵 51
4.3.1 感知數據庫的定位 51
4.3.2 感知數據庫的特徵 51
4.4 感知數據庫與傳統數據庫 52
4.4.1 感知數據庫與關系數據庫 52
4.4.2 感知數據庫與實時數據庫 53
4.4.3 感知數據庫與工廠歷史數據庫 53
4.4.4 感知數據庫與流數據處理系統 54
第5章 感知數據庫系統 55
5.1 感知數據庫的總體設計 55
5.1.1 總體設計的主要原則 55
5.1.2 感知數據庫的設計框架 56
5.2 感知數據庫的分佈部署體系 60
5.2.1 系統的集群部署模式 60
5.2.2 多層級的系統部署體系 62
5.2.3 服務分佈部署體系 64
5.3 感知數據庫中的關鍵技術 65
5.3.1 智能設備及傳感器接口技術 65
5.3.2 流數據實時在線處理技術 66
5.3.3 事件驅動的高效處理機制 67
5.3.4 感知數據的壓縮存儲技術 72
第6章 實時事務調度處理技術 77
6.1 常見事務特性分析 77
6.1.1 感知事務 78
6.1.2 觸發事務 78
6.1.3 用戶事務 79
6.2 事務調度與並發控制 79
6.2.1 事務的調度方法 79
6.2.2 並發控制策略 80
6.3 服務器與操作系統 81
6.3.1 服務器體系結構與發展 81
6.3.2 操作系統的多任務機制 84
6.4 事務的執行框架與模式 87
6.4.1 通用系統模型與調度方法 88
6.4.2 事務調度處理框架的設計模式 88
6.5 系統框架的分析與性能優化 91
第7章 物聯網大數據存儲與管理 94
7.1 雲文件系統的關鍵技術 96
7.1.1 HDFS的目標和基本假設條件 96
7.1.2 HDFS體系結構 97
7.1.3 性能保障 99
7.2 NoSQL數據庫關鍵技術 103
7.2.1 NoSQL數據庫概述 103
7.2.2 基於NoSQL數據庫的物聯網大數據存儲與管理 115
第8章 物聯網大數據計算與分析 120
8.1 物聯網大數據批處理計算 120
8.1.1 MapReduce的設計思想 121
8.1.2 MapReduce的工作機制 123
8.1.3 MapReduce在物聯網大數據中的應用 125
8.2 物聯網大數據交互式查詢 127
8.2.1 原生SQL on HBase 127
8.2.2 SQL on Hadoop 129
8.2.3 基於HBase的交互式查詢 130
8.3 物聯網大數據流計算 131
8.3.1 流計算的需求特點 131
8.3.2 流數據基本概念 132
8.3.3 流數據查詢操作 137
8.3.4 流數據定製化服務 138
8.3.5 評測基準 141
8.3.6 Spark Streaming及其在物聯網大數據中的應用 142
8.4 物聯網大數據分析 146
8.4.1 物聯網大數據OLAP多維分析 146
8.4.2 物聯網大數據深層次分析 152
第3篇 產品研發篇
第9章 物聯網網關CubeOne 169
9.1 工業物聯網網關 169
9.1.1 CubeOne產品概述 169
9.1.2 CubeOne的功能特點 170
9.1.3 CubeOne的應用領域 172
9.2 無線傳感器網絡網關 172
9.2.1 無線傳感器網絡概述 172
9.2.2 ZigBee-WiFi網關 174
9.2.3 ZigBee網絡應用案例 176
第10章 ChinDB感知數據庫系統 179
10.1 ChinDB系統概述 179
10.2 ChinDB系統組成與功能特點 180
10.3 ChinDB系統的數據組織管理 182
10.3.1 標簽點及其屬性 182
10.3.2 標簽點的組織方式 183
10.3.3 關系數據管理 184
10.3.4 歷史數據管理 184
10.4 ECA規則與實時計算 185
10.5 ChinDB的高可用方案 186
10.5.1 高可用概述及模式分類 186
10.5.2 ChinDB高可用的部署模式 187
10.6 物聯網應用平臺 189
10.6.1 物聯網應用平臺概述 189
10.6.2 物聯網應用平臺主要特點 190
10.6.3 應用案例 191
第11章 DeCloud物聯網大數據雲平臺 196
11.1 DeCloud組成 196
11.1.1 軟件概述 196
11.1.2 通信服務 198
11.1.3 計算服務 200
11.1.4 大規模NoSQL存儲服務 201
11.1.5 數據發布/訂閱服務 202
11.2 DeCloud在智能交通領域的應用 203
11.3 DeCloud在教育物聯網雲服務平臺中的應用 207
11.4 DeCloud在電廠設備故障預警中的應用 209
11.5 DeCloud在電梯安全監控中的應用 212
11.6 DeCloud在高精度位置服務中的應用 215
第4篇 編程實踐篇
第12章 基於Kafka進行物聯網大數據實時採集的編程實踐 221
12.1 相關準備知識 221
12.1.1 分佈式消息隊列Kafka回顧 221
12.1.2 Kafka生產者消息發送的實現 225
12.1.3 Kafka消費者消息接收的實現 226
12.2 模擬物聯網大數據採集和接收的實驗設計 228
12.2.1 物聯網大數據的採集 228
12.2.2 物聯網大數據的接收 229
12.3 實驗環境搭建 229
12.3.1 VMware註意事項 230
12.3.2 安裝虛擬機 232
12.3.3 復制虛擬機 234
12.3.4 修改配置文件 234
12.3.5 關閉防火牆及生成公鑰 236
12.3.6 時鐘同步 236
12.3.7 JDK安裝 236
12.3.8 ZooKeeper安裝 237
12.3.9 Kafka安裝 239
12.3.10 Kafka安裝驗證 241
12.4 實驗步驟 241
12.4.1 基於Java模擬物聯網大數據的採集與接收 241
12.4.2 基於Python模擬物聯網大數據的採集與接收 247
第13章 基於Kafka Connect進行物聯網大數據採集的編程實踐 252
13.1 Kafka Connect介紹 252
13.2 Kafka Connector的開發 253
13.2.1 Kafka SourceConnector實現 253
13.2.2 Kafka SinkConnector實現 264
13.3 實驗步驟 267
13.3.1 Kafka Connector的打包與部署 267
13.3.2 Kafka Connect的獨立模式應用 268
13.3.3 Kafka Connect的分佈式模式應用 269
13.3.4 使用Kafka Connect接收數據並存入文件 272
第14章 基於Flink進行物聯網大數據實時處理的編程實踐 275
14.1 相關準備知識 275
14.1.1 流數據處理的基本術語 275
14.1.2 流數據處理工具Flink概述 278
14.1.3 復合事件流處理工具Flink CEP概述 296
14.2 物聯網大數據處理實驗設計 300
14.2.1 實驗目的 300
14.2.2 實驗設計思路 302
14.3 實驗環境搭建 303
14.3.1 部署Flink集群 303
14.3.2 創建項目 305
14.4 實驗步驟 307
14.4.1 自定義事件類 307
14.4.2 自定義輸入映射算子 308
14.4.3 自定義去重過濾算子 309
14.4.4 自定義窗口處理算子 311
14.4.5 配置運行環境及並行度 311
14.4.6 編寫Flink流數據處理程序 312
14.4.7 基於Flink CEP編寫復合事件處理程序 313
14.4.8 編寫Kafka生產者客戶端程序 316
14.4.9 打包到集群中運行程序 317
總結與展望 321