物聯網大數據處理技術與實踐 物联网大数据处理技术与实践

本書基於作者近幾年來的研究開發成果及應用實踐，對物聯網大數據技術體系進行了系統歸納，闡述了物聯網環境下感知數據的特性、數據模型、事務模型以及調度處理方法等核心概念及關鍵技術，並對物聯網大數據存儲、管理、計算與分析的基本概念和關鍵技術進行了剖析。本書還介紹了自行研發的面向物聯網的ChinDB實時感知數據庫系統以及針對雲計算環境下物聯網大數據管理與應用的DeCloud雲平臺，介紹了它們在智能交通、智能電廠、教育、安全監控等多個行業的應用。書中所有實例，均來自作者所在團隊的實際應用，大部分在物聯網項目中得到了實踐應用。本書對物聯網應用的開發以及兩化融合、工業4.0環境下的大數據處理分析具有重要參考價值。

2000年被聘為中科院計算技術研究所研究員，入選中科院海外傑出人才計劃（百人計劃）。現任網絡重點實驗室研究員，博士生導師，中科院研究生院教授。兼任計算機研究與發展、計算機學報編委，山東科技大學軟件集成與服務工程研究所所長。主要研究興趣為分佈式系統、互聯網服務、業務流程管理和協同以及跨管理域的行業應用集成。在數據庫、工作流、分佈對像中間件、移動計算、網格計算和軟件基礎理論等多個領域主持和參與完成了包括德國科教部專項、美國自然基金會的基礎研究項目、國家863專項、國家基金、國家十五攻關以及科學院知識創新工程以及行業應用等科研和工程項目近30項，撰寫或合作撰寫學術論文90餘篇，出版專著4部，專利10餘項。

目錄
第1篇緣起與發展趨勢篇

第1章物聯網與產業發展3 
1.1物聯網產業的發展3 
1.1.1傳感器與智能硬件4 
1.1.2物聯網服務平台5 
1.1.3工業4.0與CPS 5 
1.2物聯網與大數據7 
1.3物聯網產業的機遇與挑戰9 
1.3.1物聯網產業面臨的挑戰9 
1.3.2物聯網操作系統與數據庫10 
1.3.3物聯網大數據處理與應用11 

第2章大數據處理技術的發展12 
2.1大數據存儲和管理技術12 
2.1.1面向大數據的文件系統13 
2.1.2面向大數據的數據庫系統15 
2.2大數據計算技術19 
2.2.1批處理計算模式19 
2.2.2交互式查詢計算模式20 
2.2.3流處理計算模式21 
2.2.4大數據實時處理的架構：Lamda架構23 
2.3大數據分析技術24 
2.3.1傳統結構化數據分析26 
2.3.2文本數據分析26 
2.3 .3多媒體數據分析27 
2.3.4社交網絡數據分析27 
2.3.5物聯網傳感數據分析28 
2.3.6大數據分析技術的發展趨勢28 

第2篇技術解析篇

第3章物聯網大數據技術體系31 
3.1物聯網中的大數據挑戰31 
3.1.1互聯網大數據的特徵31 
3.1.2物聯網大數據的特徵34 
3.2技術體系37 
3.2.1感知數據採集與傳輸38 
3.2.2感知數據管理與實時計算41 
3.2.3物聯網平台與大數據中心42 

第4章感知數據特性與模型44 
4.1感知數據的特性分析44 
4.1.1常用的感知數據類型44 
4.1.2感知數據的主要特徵46 
4.2感知數據的表示與組織49 
4.2.1物聯網數據模型49 
4.2.2時態對像模型51 
4.3感知數據庫的定位52 
4.3.1感知數據庫的定位52 
4.3.2感知數據庫的特徵53 
4.4感知數據庫與傳統數據庫53 
4.4.1感知數據庫與關係數據庫53 
4.4.2感知數據庫與實時數據庫系統54 
4.4.3感知數據庫與工廠數據庫系統55 
4.4.4感知數據庫與流數據處理系統55 

第5章感知數據庫管理系統57 
5.1感知數據庫的總體設計57 
5.1.1總體設計的主要原則57 
5.1.2感知數據庫的設計框架58
5.2感知數據庫的分佈部署體系62 
5.2.1系統的集群部署模式62 
5.2.2多層級的系統部署體系64 
5.2.3服務分佈的部署體系66 
5.3感知數據庫中的關鍵技術67 
5.3.1智能設備及傳感器接口技術67 
5.3.2流數據實時在線處理技術68 
5.3.3事件驅動的高效處理機制69 
5.3.4感知數據的壓縮存儲技術75 

第6章實時事務調度處理技術79 
6.1常見事務特性分析79 
6.1 .1感知事務80 
6.1.2觸發事務80 
6.1.3用戶事務81 
6.2事務調度與並發控制81 
6.2.1事務的調度方法81 
6.2.2並發控制策略82 
6.3服務器與操作系統83 
6.3.1服務器體系結構與發展83 
6.3.2操作系統的多任務機制87 
6.4事務的執行框架與模式90 
6.4.1通用系統模型與調度方法91 
6.4.2事務處理框架的設計模式91 
6.5系統框架的分析與性能優化94 

第7章物聯網大數據存儲與管理97 
7.1雲文件系統的關鍵技術99 
7.1.1 HDFS的目標和基本假設條件99 
7.1.2 HDFS體系 架構100
7.1.3性能保障102 
7.2 NoSQL數據庫關鍵技術106 
7.2.1 NoSQL數據庫概述106 
7.2.2基於NoSQL數據庫的物聯網大數據存儲與管理118 

第8章物聯網大數據計算與分析123 
8.1物聯網大數據批處理計算123 
8.1.1 MapReduce的設計思想124 
8.1.2 MapReduce的工作機制126 
8.1.3 MapReduce在物聯網大數據中的應用128 
8.2物聯網大數據交互式查詢130 
8.2.1原生SQL on HBase 131 
8.2.2 SQL on Hadoop 132 
8.2.3基於HBase的交互式查詢133 
8.3物聯網大數據流式計算134 
8.3.1流式計算的需求特點134 
8.3.2流數據基本概念135 
8.3.3流數據查詢操作140 
8.3.4流數據定制化服務142 
8.3.5評測基準145 
8.3.6 Spark Streaming及其在物聯網大數據中的應用146 
8.4物聯網大數據分析150 
8.4.1物聯網大數據OLAP多維分析151 
8.4.2物聯網大數據深層次分析157 

第3篇產品研發篇

第9章物聯網網關CubeOne 175
9.1工業物聯網網關175 
9.1.1 CubeOne產品概述175 
9.1.2 CubeOne功能特點176 
9.1.3 CubeOne的應用領域178 
9.2無線傳感器網絡網關178 
9.2.1無線傳感器網絡概述178 
9.2.2 ZigBee-WiFi網關180 
9.2.3 ZigBee網絡應用案例182 

第10章ChinDB感知數據庫系統185 
10.1 ChinDB系統概述185 
10.2 ChinDB組成與功能特點186 
10.3 ChinDB數據組織管理188 
10.3.1標籤點及其屬性188 
10.3.2標籤點的組織方式189 
10.3.3關係數據管理190 
10.3.4歷史數據管理190 
10.4 ECA規則與實時計算191 
10.5 ChinDB的HA方案192 
10.5.1 HA概述及模式分類192 
10.5.2 ChinDB HA的部署模式193 
10.6物聯網應用平台195 
10.6.1物聯網平台概述195 
10.6.2平台主要特點196 
10.6.3應用領域與應用案例198 

第11章DeCloud物聯大數據云平台202 
11.1 DeCloud組成202
11.1.1軟件概述202 
11.1.2通信服務204 
11.1.3計算服務206 
11.1.4存儲服務207 
11.1.5數據發布/訂閱服務208 
11.2 DeCloud在智能交通領域的應用209 
11.3 DeCloud在教育物聯網雲服務平台中的應用215 
11.4 DeCloud在電廠設備故障預警的應用218 
11.5 DeCloud在電梯安全監控中的應用222 
11.6 DeCloud在高精度位置服務中的應用225 
總結與展望