Hadoop 3.x大數據應用開發實踐(微課版)

目錄

基礎篇

第1章緒論31.1大數據概述3

1.2Hadoop概述4

1.3數據分析5

1.3.1數據分析流程5

1.3.2數據分析應用6

1.4本章小結7

習題17

第2章環境安裝8

2.1Hadoop發行的版本8

2.2Hadoop集群架構9

2.3Hadoop集群搭建11

2.3.1Hadoop集群規劃11

2.3.2安裝JDK11

2.3.3安裝Hadoop12

2.3.4Hadoop集群配置12

2.3.5格式化HDFS15

2.3.6Hadoop集群安裝驗證15

2.4安裝Hive16

2.4.1Hive簡介16

2.4.2Hive的安裝16

2.4.3Hive的配置18

2.4.4安裝驗證20

2.5安裝HBase21

2.5.1HBase簡介21

2.5.2安裝ZooKeeper21

2.5.3HBase安裝及配置23

2.6安裝Sqoop26

2.7本章小結27

習題227

目錄〖3〗核心篇

第3章HDFS分布式文件系統313.1HDFS概述31

3.1.1GFS分布式文件系統31

3.1.2HDFS分布式文件系統32

3.2HDFS架構32

3.3HDFS讀寫流程35

3.3.1HDFS讀取文件操作35

3.3.2HDFS寫文件操作36

3.4訪問HDFS37

3.4.1HDFS Shell命令37

3.4.2HDFS Java API編程39

3.5本章小結48

習題348

第4章MapReduce分布式計算框架49

4.1認識MapReduce49

4.1.1MapReduce編程思想49

4.1.2MapReduce編程模型49

4.1.3MapReduce編程實例——統計單詞頻次50

4.1.4MapReduce的局限性55

4.2YARN資源管理框架55

4.2.1YARN的誕生55

4.2.2YARN概述56

4.2.3YARN的基本框架57

4.2.4YARN的工作流程58

4.3MapReduce的工作機制59

4.4MapReduce的過程60

4.5MapReduce編程61

4.5.1Writable接口61

4.5.2編寫Mapper類63

4.5.3編寫Reducer類64

4.5.4Partitioner類66

4.5.5編寫main方法67

4.6MapReduce編程實例: 計算均值67

4.6.1準備數據68

4.6.2設計思路68

4.6.3編寫Mapper類68

4.6.4編寫Reducer類68

4.6.5編寫main方法69

4.7MapReduce編程實例: TopN70

4.7.1準備數據70

4.7.2設計思路71

4.7.3編寫Mapper類71

4.7.4編寫Reducer類72

4.7.5編寫main方法73

4.8MapReduce編程實例: 二次排序73

4.8.1準備數據74

4.8.2設計思路74

4.8.3編寫OrderProductPrice類74

4.8.4編寫Mapper類75

4.8.5編寫OrderPartitioner類75

4.8.6編寫OrderGroupingComparator類76

4.8.7編寫Reducer類76

4.8.8編寫main方法77

4.9MapReduce編程實例: 連接77

4.9.1準備數據78

4.9.2設計思路78

4.9.3編寫Mapper類78

4.9.4編寫Reducer類79

4.9.5編寫main方法79

4.10MapReduce編程實例: 倒排索引81

4.10.1正排索引81

4.10.2準備數據82

4.10.3設計思路83

4.10.4編寫Mapper類83

4.10.5編寫Reducer類83

4.10.6編寫main方法84

4.11本章小結85

習題485

應用篇

第5章拉勾招聘崗位數據分析895.1項目背景89

5.2分析任務89

5.3系統設計90

5.3.1系統架構設計90

5.3.2開發流程設計91

5.3.3系統開發實驗環境91

5.4數據集介紹92

5.5數據源存儲92

5.6數據清洗及預處理93

5.7數據分析96

5.8數據分析可視化111

5.9部署運行119

5.9.1系統應用環境119

5.9.2系統打包部署119

5.10本章小結121

習題5122

第6章城市空氣質量數據分析123

6.1項目背景123

6.2分析任務123

6.3系統設計124

6.3.1系統架構設計124

6.3.2開發流程設計125

6.3.3系統開發實驗環境126

6.4數據集介紹126

6.5數據存儲127

6.6數據清洗127

6.7數據分析130

6.8數據分析可視化154

6.9部署運行161

6.9.1系統應用環境161

6.9.2系統打包部署162

6.10本章小結163

習題6163

第7章深圳市地鐵客流量數據分析164

7.1項目背景164

7.2分析任務165

7.3系統設計165

7.3.1系統架構設計165

7.3.2開發流程設計166

7.3.3系統開發實驗環境167

7.4數據集介紹167

7.5數據存儲168

7.6數據清洗及預處理168

7.7數據分析175

7.8數據分析可視化187

7.9部署運行191

7.9.1系統應用環境191

7.9.2系統打包部署192

7.10本章小結193

習題7194

第8章臨沂市醫保數據智能分析195

8.1項目背景195

8.2分析任務196

8.3技術準備196

8.3.1Hive簡介196

8.3.2Hive的工作機制196

8.3.3Hive數據類型198

8.3.4Hive數據庫操作200

8.3.5Hive數據表操作201

8.3.6Hive表查詢操作203

8.3.7JDBC訪問Hive208

8.4系統設計209

8.4.1系統架構設計209

8.4.2開發流程設計210

8.4.3系統開發實驗環境211

8.5數據集介紹212

8.6數據存儲212

8.7數據清洗及預處理213

8.8數據分析216

8.8.1Hive數據導入216

8.8.2Hive數據分析217

8.8.3Sqoop導出分析結果222

8.9數據分析可視化展示226

8.10部署運行231

8.10.1系統應用環境231

8.10.2系統打包部署232

8.11本章小結233

習題8233

第9章天貓嬰幼兒用品銷售數據分析234

9.1項目背景234

9.2分析任務235

9.3技術準備235

9.3.1HBase簡介235

9.3.2HBase的數據模型236

9.3.3HBase的架構237

9.3.4HBase的應用場景240

9.3.5HBase Shell的操作241

9.3.6編程實現HBase數據表操作242

9.4系統設計246

9.4.1系統架構設計246

9.4.2開發流程設計247

9.4.3系統開發實驗環境248

9.5數據集介紹248

9.6數據存儲248

9.7數據清洗及預處理249

9.8數據存儲至HBase253

9.9數據分析及可視化260

9.10部署運行287

9.10.1系統應用環境287

9.10.2系統打包部署288

9.11本章小結289

習題9290

參考文獻291