大數據應用技術

本書主要結合當前流行的大數據框架Hadoop、HBase、Hive、、Storm、Flume、Kafka、Spark、Spark GraphX，採用案例形式系統地講解大數據應用技術的相關知識。全書共有8章，分別介紹了大數據概論、大數據基礎知識、大數據文件存儲系統、大數據文件存儲系統、大數據計算技術、大數據應用程序協調服務、大數據存儲應用技術、大數據倉庫應用技術、大數據實時應用技術。為了讓讀者能夠及時地檢驗自己的學習效果，把握自己的學習進度，各章後面都附有相應的習題。

王國珺，副教授，從事高校計算機教育近20年，主要研究方向為大數據、機器學習，近期主持省級課題1項，廳級課題1項，參與省級課題1項，公開發表國家級論文5篇。

第壹章  大數據概論 1
1.1　數據的基本概念　1
1.1.1　什麼是數據　1
1.1.2　數據組成結構　2
1.1.3　數據的價值　4
1.2　什麼是大數據　4
1.2.1　大數據產生背景　4
1.2.2　大數據發展的原動力　5
1.2.3　大數據基本概念與特徵　6
1.2.4　大數據與雲計算　6
1.2.5　大數據與人工智能　7
1.3　大數據主要技術　8
1.3.1　概述　8
1.3.2　大數據採集與處理　9
1.3.3　大數據存儲技術　9
1.3.4　大數據計算技術　11
1.3.5　大數據可視化　12
1.3.6　大數據安全　12
1.4　大數據主流框架　14
1.4.1　Hadoop　14
1.4.2　ZooKeeper　14
1.4.3　HBase　14
1.4.4　Hive　14
1.4.5　Storm　15
1.4.6　Flume　15
1.4.7　Kafka　15
1.5　本章小結　15
1.6　習題　16

第2章　大數據基礎知識　17
2.1　概述　17
2.1.1　Hadoop產生背景　17
2.1.2　Hadoop核心模塊　18
2.1.3　Hadoop相關項目　19
2.2　Common　20
2.3　HDFS　20
2.3.1　HDFS設計思想　20
2.3.2　HDFS體系結構　21
2.3.3　文件系統命名空間　22
2.3.4　數據複製　22
2.3.5　副本放置策略　23
2.3.6　副本選擇　23
2.3.7　安全模式　23
2.3.8　元數據的持久性　24
2.3.9　通信協議　24
2.3.10　健壯性　24
2.4　YARN　25
2.5　MapReduce　27
2.6　Hadoop應用場景　29
2.7　Hadoop環境配置　29
2.7.1　Hadoop配置基礎知識　29
2.7.2　Hadoop安裝模式　29
2.7.3　Hadoop版本選擇　30
2.7.4　Hadoop偽分佈模式搭建　31
2.8　基於Hadoop平台的IDEA開發環境搭建　36
2.8.1　Maven項目的創建　36
2.8.2　編寫經典的MapReduce程序WordCount　38
2.9　本章小結　46
2.10　習題　46

第3章　大數據文件存儲系統　48
3.1　數據塊　48
3.2　HDFS工作流　49
3.2.1　HDFS寫數據過程　49
3.2.2　HDFS讀數據過程　50
3.3　HDFS應用程序設計　51
3.3.1　HDFS Shell命令　51
3.3.2　Web接口　53
3.3.3　HDFS API　55
3.3.4　HDFS API寫操作　57
3.3.5　HDFS API讀操作　59
3.4　HDFS存儲格式　60
3.5　Hadoop I/O　61
3.5.1　壓縮　61
3.5.2　I/O序列化類型　64
3.6　本章小結　67
3.7　習題　67

第4章　大數據計算技術　68
4.1　MapReduce運行過程　68
4.2　MapReduce編程過程　70
4.3　MapReduce數據類型　72
4.4　Mapper輸入　73
4.5　Shuffle原理　76
4.5.1　Shuffle工作原理　76
4.5.2　自定義分區　79
4.5.3　自定義排序　81
4.5.4　自定義分組　82
4.6　Combiner本地合併優化　83
4.7　Reducer輸出　84
4.8　計數器　89
4.9　MapReduce應用開發　91
4.9.1　*大*小計數值　92
4.9.2　全排序　94
4.9.3　二次排序　97
4.10　本章小結　102
4.11　習題　102

第5章　大數據應用程序協調服務　103
5.1　ZooKeeper概述　103
5.1.1　ZooKeeper簡介　103
5.1.2　ZooKeeper常用術語　104
5.1.3　ZooKeeper設計目標　104
5.1.4　數據模型和分層命名空間　105
5.1.5　ZooKeeper工作原理　106
5.2　ZooKeeper集群搭建　107
5.2.1　集群規劃　107
5.2.2　ZooKeeper集群安裝　107
5.3　ZooKeeper與Hadoop高可用性　110
5.4　Hadoop高可用性集群部署　111
5.4.1　集群規劃　111
5.4.2　集群部署　112
5.5　本章小結　122
5.6　習題　122

第6章　大數據存儲應用技術　123
6.1　HBase 基礎知識　123
6.1.1　HBase產生背景　123
6.1.2　HBase數據模型　124
6.1.3　HBase體系結構　125
6.1.4　HBase與HDFS　127
6.1.5　HBase應用場景　127
6.2　HBase開發環境配置　128
6.2.1　HBase配置前的準備工作　128
6.2.2　HBase配置基礎知識　128
6.2.3　HBase集群環境配置　130
6.3　HBase Shell　134
6.4　HBase API　139
6.4.1　管理表結構　139
6.4.2　管理表信息　142
6.4.3　信息查詢　143
6.5　HBase表設計　145
6.6　本章小結　145
6.7　習題　145

第7章　大數據倉庫應用技術　147
7.1　Hive基礎知識　148
7.1.1　Hive產生背景　148
7.1.2　Hive體系結構　148
7.1.3　Hive執行流程　150
7.1.4　Hive應用場景　151
7.2　Hive開發環境配置　151
7.2.1　Hive配置基礎知識　151
7.2.2　Hive安裝模式　151
7.2.3　Hive遠程安裝模式實戰　153
7.3　Hive命令　155
7.3.1　Hive交互命令界面Shell簡介　155
7.3.2　Hive非交互界面執行簡介　156
7.4　Hive開發基礎知識　157
7.4.1　數據類型與文本文件編碼　158
7.4.2　數據讀取模式　162
7.4.3　Hive關鍵字　162
7.5　Hive基本操作　163
7.5.1　Hive數據庫管理操作　163
7.5.2　Hive表管理操作　164
7.5.3　Hive查詢基本語法規則　165
7.5.4　Hive基本查詢　165
7.5.5　Hive*查詢　167
7.5.6　Hive JOIN查詢　173
7.6　Hive API　175
7.7　本章小結　176
7.8　習題　176

第8章　大數據實時應用技術　177
8.1　Storm基礎知識　177
8.1.1　Storm基本概述　178
8.1.2　Storm特徵　178
8.1.3　Storm系統結構　179
8.1.4　Storm運行原理　180
8.1.5　Storm應用場景　180
8.2　Storm開發環境安裝　181
8.2.1　Storm配置基礎知識　181
8.2.2　Storm快速部署　181
8.2.3　Storm集群部署　183
8.3　Storm 編程　185
8.4　Storm實現約車大數據分析　190
8.4.1　模擬生成實時約車數據　191
8.4.2　Flume整合Kafka　192
8.4.3　約車數據採集後基於Storm進行實時處理　195
8.5　本章小結　200
8.6　習題　200