大數據技術導論

第1章 大數據介紹 1
本章學習目標 1
1.1　大數據概述 1
1.1.1 認識大數據 1
1.1.2 大數據的特征 4
1.1.3 大數據技術的應用 7
1.2　大數據的發展 12
1.2.1 國外的大數據發展 12
1.2.2 我國的大數據發展 13
1.3　大數據開發語言Python 14
1.3.1 Python簡介 14
1.3.2 Python使用基礎 15
1.4　本章小結 17
習題1 18
第2章 數據采集 19
本章學習目標 19
2.1　認識數據采集 19
2.1.1 數據采集介紹 19
2.1.2 數據采集平臺 22
2.2 網絡爬蟲 29
2.2.1 網絡爬蟲的概述 29
2.2.2 網絡爬蟲的分類及特點 35
2.2.3 網絡爬蟲框架 37
2.3　本章小結 41
習題2 42
第3章 大數據架構 43
本章學習目標 43
3.1　大數據架構概述 43
3.1.1 大數據架構介紹 43
3.1.2 大數據架構分類 44
3.2　Hadoop架構 46
3.2.1 Hadoop介紹 46
3.2.2 Hadoop發展史 47
3.2.3 Hadoop核心組件概述 48
3.3　Hadoop核心組件 49
3.3.1 HDFS 49
3.3.2 YARN 56
3.3.3 MapReduce 59
3.4　Hadoop生態圈 63
3.4.1 ZooKeeper 63
3.4.2 Spark 65
3.4.3 Flink 69
3.5　本章小結 72
習題3 73
第4章 大數據存儲 74
本章學習目標 74
4.1　大數據存儲概述 74
4.1.1 認識大數據存儲 74
4.1.2 大數據存儲的分類 76
4.1.3 NewSQL數據庫 84
4.2　大數據中的數據庫應用 85
4.2.1 MySQL 85
4.2.2 HBase 87
4.2.3 Redis 90
4.2.4 MongoDB 92
4.2.5 InfluxDB 94
4.2.6 OrientDB 96
4.3 數據倉庫 98
4.3.1 數據倉庫概述 98
4.3.2 Hive 104
4.3.3 數據倉庫的應用 106
4.4 本章小結 106
習題4 107
第5章 數據清洗 108
本章學習目標 108
5.1　數據清洗概述 108
5.1.1 認識數據清洗 108
5.1.2 數據清洗的常見方法 111
5.1.3 數據標準化 115
5.1.4 數據清洗中的常見算法 117
5.2 數據質量與數據質量管理 119
5.2.1 數據質量 119
5.2.2 數據質量管理 121
5.3 數據清洗工具 124
5.3.1 Python 124
5.3.2 R語言 128
5.3.3 Kettle 130
5.3.4 DataCleaner 130
5.4 本章小結 132
習題5 132
第6章 大數據分析與挖掘 133
本章學習目標 133
6.1 大數據分析概述 133
6.1.1 大數據分析的概念 133
6.1.2 大數據分析的類型 136
6.1.3 大數據分析的方法 136
6.2 數據挖掘 142
6.2.1 數據挖掘概述 142
6.2.2 數據挖掘應用 145
6.3 數據挖掘算法 149
6.3.1 K-Means算法 149
6.3.2 決策樹算法 151
6.3.3 KNN算法 153
6.3.4 樸素貝葉斯算法 155
6.3.5 主成分分析算法 157
6.3.6 遺傳算法 158
6.4 本章小結 160
習題6 160
第7章 大數據可視化 161
本章學習目標 161
7.1　大數據可視化概述 161
7.1.1 大數據可視化的概念 161
7.1.2 大數據可視化的流程 165
7.1.3 大數據可視化圖表介紹 169
7.2　大數據可視化方法 175
7.2.1 文本可視化 175
7.2.2 網絡可視化 178
7.2.3 空間信息可視化 179
7.3 大數據可視化工具 183
7.3.1 ECharts 183
7.3.2 Tableau 185
7.3.3 D3.js 186
7.4 大數據可視化應用 188
7.4.1 大數據可視化的應用場景 188
7.4.2 大數據可視化的行業應用 188
7.5 本章小結 191
習題7 192
第8章 大數據安全 193
本章學習目標 193
8.1 大數據安全概述 193
8.1.1 認識大數據安全 193
8.1.2 大數據安全中的關鍵技術 199
8.2 大數據安全體系 212
8.2.1 大數據安全體系概述 212
8.2.2 大數據安全體系加固措施 215
8.3　本章小結 218
習題8 218
第9章 數據治理 219
本章學習目標 219
9.1　數據治理概述 219
9.1.1 認識數據治理 219
9.1.2 數據治理的研究內容 223
9.2　企業架構 236
9.2.1 認識企業架構 236
9.2.2 主流的企業架構 238
9.3 數據治理框架 241
9.3.1 ISO38500數據治理框架 241
9.3.2 DAMA數據治理框架 241
9.3.3 DGI數據治理框架 243
9.3.4 IBM數據治理框架 244
9.3.5 DCMM數據治理框架 245
9.4　本章小結 247
習題9 248
第10章 大數據的應用 249
本章學習目標 249
10.1　旅遊大數據 249
10.1.1 旅遊大數據的發展 249
10.1.2 大數據對旅遊業的影響 250
10.1.3 大數據在旅遊業中的應用 251
10.1.4 旅遊大數據面臨的問題 253
10.2　工業大數據 253
10.2.1 認識工業大數據 254
10.2.2 工業大數據實施的關鍵因素 256
10.2.3 工業大數據的應用 260
10.3　交通大數據 264
10.3.1 認識交通大數據 264
10.3.2 交通大數據實施的關鍵因素 267
10.3.3 交通大數據的應用 270
10.4　本章小結 271
習題10 272