工業大數據分析與處理

王宏誌，哈爾濱工業大學長聘教授，博士生導師，計算學部海量數據計算研究中心主任，數據科學與大數據技術專業負責人。研究方向為數據庫、大數據管理與分析、大數據治理等，發表論文300餘篇，SCI收錄90餘次，他引3000餘次，先後主持 自然科學基金重點項目、 合作項目等10餘項項目，以主要成員參與973項目、863項目、 重點研發計劃項目、 自然科學基金重點項目以及一批省部級重點項目和多項 合作項目等。 獲得青年龍江學者、微軟學者、中國 數據庫工程師、IBM博士英才等稱號，獲得黑龍江省自然科學獎和 高校科技進步獎各1項，黑龍江省“頭雁計劃”團隊成員。

前言

第1章 緒論1
1.1 什麼是大數據1
1.1.1 大數據的定義1
1.1.2 大數據的特征2
1.1.3 大數據的作用3
1.2 什麼是工業大數據6
1.2.1 什麼是工業6
1.2.2 工業大數據概述7
1.2.3 工業大數據的特征8
1.2.4 工業大數據的價值8
1.3 工業大數據的技術需求12
1.4 工業大數據在不同行業的應用15
1.4.1 個性化制造15
1.4.2 實現有效管理16
1.4.3 庫存建模優化的信息管理和服務16
1.4.4 簡化人的工作18
1.4.5 實現產業鏈的信息整合19
1.5 從工業大數據到智能制造20
1.5.1 工業大數據在智能制造中的應用20
1.5.2 工業大數據在智能制造標準體系中的定位21
1.5.3 全球主要國家和地區在工業大數據方面的戰略22
1.6 本章小結23

第2章 工業大數據的獲取24
2.1 工業大數據采集的技術難點24
2.2 使用工業傳感器采集工業數據25
2.2.1 典型的工業傳感器26
2.2.2 工業傳感器的應用28
2.3 利用工業RFID采集工業數據30
2.3.1 RFID技術概述30
2.3.2 RFID的工業應用32
2.4 利用工業信息化系統獲取工業大數據39
2.4.1 企業經營數據與系統39
2.4.2 生產管理數據與系統48
2.5 企業外部數據54
2.5.1 互聯網數據54
2.5.2 數據交易市場的數據54
2.5.3 外部數據獲取技術55
2.6 本章小結56

第3章 工業大數據的預處理58
3.1 標準化和歸一化60
3.1.1 數據標準化60
3.1.2 數據歸一化61
3.2 數據清洗62
3.2.1 數據清洗與數據質量管理62
3.2.2 數據清洗方法與技術63
3.3 數據集成和變換82
3.3.1 數據集成82
3.3.2 數據變換92
3.4 數據歸約95
3.4.1 屬性歸約95
3.4.2 數值歸約96
3.5 本章小結99第4章工業大數據管理100
4.1 工業大數據管理需求概述100
4.1.1 數據交換服務100
4.1.2 數據整體存儲100
4.1.3 數據分級存儲100
4.2 關系數據庫管理系統101
4.2.1 關系數據管理概述101
4.2.2 工業中的關系數據102
4.2.3 關系數據庫的設計103
4.2.4 關系數據庫系統的調優112
4.3 時間序列數據管理120
4.3.1 時序數據庫概述120
4.3.2 工業中時序數據庫的應用場景120
4.3.3 工業中時序數據管理的挑戰121
4.3.4 時序數據庫的存儲121
4.3.5 時序數據索引123
4.3.6 時序數據的查詢處理126
4.3.7 時序數據庫實例128
4.4 非結構化數據管理147
4.4.1 非結構化數據管理概述147
4.4.2 工業中的非結構化數據管理148
4.4.3 非結構化數據操作、處理方法及關鍵技術149
4.4.4 典型的非結構化數據管理系統149
4.5 實時數據庫149
4.5.1 實時數據庫概述149
4.5.2 實時數據庫的關鍵技術153
4.5.3 實時數據庫系統實例167
4.5.4 實時數據庫在工業中的應用170
4.6 本章小結172

第5章 工業大數據分析模型174
5.1 大數據分析模型概述174
5.1.1 回歸分析模型175
5.1.2 分類分析模型175
5.1.3 聚類分析模型180
5.1.4 關聯規則挖掘181
5.2 設計階段的分析模型182
5.2.1 工藝優化階段的分析模型182
5.2.2 流程優化187
5.2.3 能效優化189
5.3 生產階段的分析模型192
5.3.1 質量監控192
5.3.2 效率監控195
5.3.3 生產狀態監控198
5.3.4 能效監控205
5.3.5 故障預測209
5.4 采購階段的分析模型211
5.4.1 庫存優化211
5.4.2 成本優化215
5.5 銷售階段的分析模型217
5.5.1 需求發現217
5.5.2 產量預測225
5.5.3 配送優化230
5.6 售後階段的分析模型240
5.6.1 故障預警240
5.6.2 故障咨詢241
5.6.3 備品供應242
5.6.4 產品運行狀態監控246
5.7 本章小結252

第6章 工業大數據分析算法254
6.1 工業大數據分析算法概述254
6.1.1 實時分析算法254
6.1.2 弱實時分析算法255
6.1.3 非實時分析算法256
6.2 工業大數據分析算法的應用257
6.2.1 基於數據流分析的覆雜生產線系統健康度實時評估257
6.2.2 基於交互式算法的隨機環境多目標優化262
6.2.3 基於並行神經網絡的發電機組負載分配調度方案267
6.3 本章小結274

第7章 工業大數據可視化分析276
7.1 工業大數據可視化276
7.1.1 工業大數據可視化的原則276
7.1.2 圖形可視化方法的分類277
7.1.3 常用的工業大數據可視化方法279
7.1.4 常用的工業大數據可視化工具296
7.1.5 工業大數據可視化分析案例297
7.1.6 工業大數據可視化的應用場景302
7.2 工業過程可視化監控303
7.2.1 SCADA系統303
7.2.2 DCS308
7.2.3 PLC系統309
7.2.4 工業組態展示310
7.3 用戶交互式可視化分析312
7.3.1 交互式可視化分析的思想312
7.3.2 交互式可視化分析的重要性313
7.3.3 交互式可視化分析存在的問題313
7.3.4 交互式可視化分析方法314
7.4 本章小結320