Hadoop + Spark 大數據分析實戰

本書是Hadoop + Spark大數據分析技術入門書，基於Hadoop和Spark兩大框架體系的3.2版本，以通俗易懂的方式介紹Hadoop + Spark原生態組件的原理、集群搭建、實戰操作，以及整個Hadoop生態系統主流的大數據分析技術。 本書共分14章。第1章講解Hadoop框架及新版本特性，並詳細講解大數據分析環境的搭建工作，包括Linux操作系統的安裝、SSH工具使用和配置等；第2章講解Hadoop偽分佈式的安裝和開發體驗，使讀者熟悉Hadoop大數據開發兩大核心組件，即HDFS和MapReduce；第3~12章講解Hadoop生態系統各框架HDFS、MapReduce、輸入輸出、Hadoop集群配置、高可用集群、HBase、Hive、數據實時處理系統Flume，以及Spark框架數據處理、機器學習等實戰技術，並通過實際案例加深對各個框架的理解與應用；第13~14章分別通過影評分析、旅游酒店評價分析實戰項目來貫穿大數據分析的完整流程。 本書可以作為大數據分析初學者的入門指導書，也可以作為大數據開發人員的參考手冊，同時也適合作為高等院校大數據相關專業的教材或教學參考書。

目    錄

第1章  大數據與Hadoop 1

1.1  什麽是大數據 1

1.2  大數據的來源 2

1.3  如何處理大數據 3

1.3.1  數據分析與挖掘 3

1.3.2  基於雲平臺的分佈式處理 4

1.4  Hadoop 3新特性 6

1.5  虛擬機與Linux操作系統的安裝 7

1.5.1  VirtualBox虛擬機的安裝 7

1.5.2  Linux操作系統的安裝 8

1.6  SSH工具與使用 14

1.7  Linux統一設置 16

1.8  本章小結 17

第2章  Hadoop偽分佈式集群 18

2.1  安裝獨立運行的Hadoop 19

2.2  Hadoop偽分佈式環境準備 21

2.3  Hadoop偽分佈式安裝 25

2.4  HDFS操作命令 31

2.5  Java項目訪問HDFS 33

2.6  winutils 38

2.7  快速MapReduce程序示例 39

2.8  本章小結 42

第3章  HDFS分佈式文件系統 43

3.1  HDFS的體系結構 43

3.2  NameNode的工作 44

3.3  SecondaryNameNode 49

3.4  DataNode 50

3.5  HDFS的命令 51

3.6  RPC遠程過程調用 52

3.7  本章小結 53

第4章  分佈式運算框架MapReduce 55

4.1  MapReduce的運算過程 55

4.2  WordCount示例 57

4.3  自定義Writable 60

4.4  Partitioner分區編程 63

4.5  自定義排序 65

4.6  Combiner編程 67

4.7  默認Mapper和默認Reducer 68

4.8  倒排索引 69

4.9  Shuffle 73

4.9.1  Spill過程 73

4.9.2  Sort過程 74

4.9.3  Merge過程 75

4.10  本章小結 76

第5章  Hadoop輸入輸出 78

5.1  自定義文件輸入流 79

5.1.1  自定義LineTextInputFormat 79

5.1.2  自定義ExcelInputFormat類 82

5.1.3  DBInputFormat 86

5.1.4  自定義輸出流 89

5.2  順序文件SequenceFile的讀寫 90

5.2.1  生成一個順序文件 91

5.2.2  讀取順序文件 91

5.2.3  獲取Key/Value類型 92

5.2.4  使用SequenceFileInputFormat讀取數據 93

5.3  本章小結 95

第6章  Hadoop分佈式集群配置 96

6.1  Hadoop集群 96

6.2  本章小結 100

第7章  Hadoop高可用集群搭建 101

7.1  ZooKeeper簡介 101

7.2  ZooKeeper集群安裝 104

7.3  znode節點類型 105

7.4  觀察節點 106

7.5  配置Hadoop高可靠集群 106

7.6  用Java代碼操作集群 115

7.7  本章小結 117

第8章  數據倉庫Hive 118

8.1  Hive簡介 118

8.2  Hive3的安裝配置 120

8.2.1  使用Derby數據庫保存元數據 120

8.2.2  使用MySQL數據庫保存元數據 121

8.3  Hive命令 124

8.4  Hive內部表 127

8.5  Hive外部表 128

8.6  Hive表分區 128

8.6.1  分區的技術細節 128

8.6.2  分區示例 131

8.7  查詢示例匯總 133

8.8  Hive函數 134

8.8.1  關系運算符號 135

8.8.2  更多函數 136

8.8.3  使用Hive函數實現WordCount 138

8.9  本章小結 140

第9章  HBase數據庫 141

9.1  HBase的特點 141

9.1.1  HBase的高並發和實時處理數據 142

9.1.2  HBase的數據模型 142

9.2  HBase的安裝 144

9.2.1  HBase的單節點安裝 145

9.2.2  HBase的偽分佈式安裝 147

9.2.3  Java客戶端代碼 149

9.2.4  其他Java操作代碼 152

9.3  HBase集群安裝 155

9.4  HBase Shell操作 159

9.4.1  DDL操作 160

9.4.2  DML操作 162

9.5  本章小結 166

第10章  Flume數據採集 167

10.1  Flume簡介 167

10.1.1  Flume原理 167

10.1.2  Flume的一些核心概念 168

10.2  Flume的安裝與配置 169

10.3  快速示例 169

10.4  在ZooKeeper中保存Flume的配置文件 171

10.5  Flume的更多Source 174

10.5.1  avro source 174

10.5.2  thrift source和thrift sink 178

10.5.3  exec source 181

10.5.4  spool source 182

10.5.5  HDFS sinks 183

10.6  本章小結 184

第11章  Spark框架搭建及應用 185

11.1  安裝Spark 186

11.1.1  本地模式 186

11.1.2  偽分佈式安裝 188

11.1.3  集群安裝 191

11.1.4  Spark on YARN 193

11.2  使用Scala開發Spark應用 196

11.2.1  安裝Scala 196

11.2.2  開發Spark程序 197

11.3  spark-submit 200

11.3.1  使用spark-submit提交 200

11.3.2  spark-submit參數說明 201

11.4  DataFrame 203

11.4.1  DataFrame概述 203

11.4.2  DataFrame基礎應用 205

11.5  Spark SQL 210

11.5.1  快速示例 211

11.5.2  Read和Write 215

11.6  Spark Streaming 216

11.6.1  快速示例 217

11.6.2  DStream 220

11.6.3  FileStream 220

11.6.4  窗口函數 222

11.6.5  updateStateByKey 223

11.7  共享變量 225

11.7.1  廣播變量 225

11.7.2  累加器 227

11.8  本章小結 227

第12章  Spark機器學習 228

12.1  機器學習 228

12.1.1  機器學習概述 228

12.1.2  Spark ML 230

12.2  典型機器學習流程介紹 230

12.2.1  提出問題 230

12.2.2  假設函數 231

12.2.3  代價函數 232

12.2.4  訓練模型確定參數 233

12.3  經典算法模型實戰 233

12.3.1  聚類算法實戰 233

12.3.2  回歸算法實戰 236

12.3.3  協同過濾算法實戰 239

 

第13章  影評分析項目實戰 245

13.1  項目內容 245

13.2  項目需求及分析 246

13.3  詳細實現 250

13.3.1  搭建項目環境 250

13.3.2  編寫爬蟲類 253

13.3.3  編寫分詞類 255

13.3.4  第一個job的Map階段實現 259

13.3.5  一個job的Reduce階段實現 259

13.3.6  第二個job的Map階段實現 260

13.3.7  第二個job的自定義排序類階段的實現 261

13.3.8  第二個job的自定義分區階段實現 261

13.3.9  第二個job的Reduce階段實現 262

13.3.10  Run程序主類實現 262

13.3.11  編寫詞雲類 263

13.3.12  效果測試 264

第14章  旅游酒店評價分析項目實戰 266

14.1  項目介紹 266

14.2  項目需求及分析 267

14.2.1  數據集需求 267

14.2.2  功能需求 267

14.3  詳細實現 268

14.3.1  數據集上傳到HDFS 269

14.3.2  Spark數據清洗 271

14.3.3  構建Hive數據倉庫表 274

14.3.4  Hive表數據導出到MySQL 280

14.3.5  數據可視化開發 282