Spark入門與大數據分析實戰

 

目    錄

第1章  Spark開發之Scala編程基礎 1

1.1  開發環境搭建 1

1.2  基礎語法 4

1.3  函數 7

1.4  控制語句 9

1.5  函數式編程 12

1.6  模式匹配 17

1.7  類和對象 18

1.8  異常處理 22

1.9  Trait（特徵） 23

1.10  文件I/O 24

第2章  Spark框架全生態體驗 26

2.1  Spark概述 26

2.1.1  關於Spark 26

2.1.2  Spark的基本概念 27

2.1.3  Spark集群模式 28

2.2  Linux環境搭建 33

2.2.1  VirtualBox虛擬機安裝 33

2.2.2  安裝Linux操作系統 35

2.2.3  SSH工具與使用 42

2.2.4  Linux統一設置 43

2.3  Hadoop安裝與配置 45

2.3.1  Hadoop安裝環境準備 45

2.3.2  Hadoop偽分佈式安裝 49

2.3.3  Hadoop完全分佈式環境搭建 55

2.4  Spark安裝與配置 60

2.4.1  本地模式安裝 61

2.4.2  偽分佈模式安裝 63

2.4.3  完全分佈模式安裝 66

2.4.4  Spark on YARN 68

2.5  spark-submit 72

2.5.1  使用spark-submit提交 72

2.5.2  spark-submit參數說明 73

2.6  DataFrame 75

2.6.1  DataFrame概述 75

2.6.2  DataFrame的基礎應用 77

2.7  Spark SQL 82

2.7.1  快速示例 83

2.7.2  read和write 87

2.8  Spark Streaming 89

2.9  共享變量 92

2.9.1  廣播變量 92

2.9.2  累加器 93

第3章  Spark RDD彈性分佈式數據集 94

3.1  什麼是RDD 94

3.2  RDD的主要屬性 95

3.3  RDD的特點 96

3.3.1  彈性 96

3.3.2  分區 96

3.3.3  只讀 96

3.3.4  依賴（血緣） 96

3.3.5  緩存 98

3.3.6  checkpoint 99

3.4  RDD的創建與處理過程 99

3.4.1  RDD的創建 99

3.4.2  RDD的處理過程 99

3.4.3  RDD的算子 100

3.4.4  常見的轉換算子 100

3.4.5  常見的行動算子 105

第4章  Spark SQL結構化數據文件處理 109

4.1  Spark SQL概述 109

4.1.1  什麼是Spark SQL 109

4.1.2  Spark SQL的特點 110

4.1.3  什麼是DataFrame 111

4.1.4  什麼是DataSet 112

4.2  Spark SQL 編程 112

4.2.1  SparkSession 112

4.2.2  使用DataFrame進行編程 113

4.2.3  使用DataSet進行編程 118

4.2.4  DataFrame和DataSet之間的交互 120

4.2.5  使用IDEA創建Spark SQL程序 120

4.2.6  自定義Spark SQL函數 121

4.3  Spark SQL數據源 122

4.3.1  通用加載和保存函數 122

4.3.2  加載JSON文件 123

4.3.3  讀取Parquet文件 124

4.3.4  JDBC 124

第5章  Kafka實戰 127

5.1  Kafka的特點 128

5.2  Kafka術語 129

5.3  Kafka單機部署 130

5.4  Kafka集群部署 137

第6章  Spark Streaming實時計算 142

6.1  Spark Streaming概述 142

6.1.1  Spark Streaming是什麼 142

6.1.2  Spark Streaming特點 143

6.1.3  Spark Streaming架構 144

6.2  DStream入門 144

6.2.1  WordCount案例 145

6.2.2  WordCount案例解析 146

6.3  DStream創建 147

6.3.1  RDD隊列 147

6.3.2  自定義數據源 148

6.3.3  Kafka 數據源 150

6.4  DStream實戰 151

6.4.1  從埠讀取數據 151

6.4.2  FileStream 151

6.4.3  窗口函數 153

6.4.4  updateStateByKey 154

6.5  Structured Streaming 157

6.5.1  概述 157

6.5.2  快速示例 157

第7章  Spark ML機器學習 161

7.1  機器學習 161

7.2  Spark ML 163

7.3  典型機器學習流程介紹 163

7.3.1  提出問題 163

7.3.2  假設函數 164

7.3.3  損失函數 165

7.3.4  訓練模型確定參數 166

7.4  經典算法模型實戰 166

7.4.1  聚類算法實戰 166

7.4.2  回歸算法實戰 170

7.4.3  協同過濾算法實戰 172

7.4.4  分類算法實戰 178

第8章  Spark GraphX圖計算 183

8.1  Spark GraphX 183

8.2  Spark GraphX的抽象 184

8.3  Spark GraphX圖的構建 185

8.4  Spark GraphX圖的計算模式 187

8.5  GraphX 3個主要算法實戰 189

8.6  GraphX綜合應用項目實戰 192

第9章  Redis數據庫入門 200

9.1  Redis環境安裝 200

9.1.1  簡介 200

9.1.2  安裝 201

9.1.3  Java客戶端 202

9.2  Redis常見數據類型 202

9.2.1  key 202

9.2.2  string類型 204

9.2.3  list 205

9.2.4  set 206

9.2.5  sorted set 208

9.2.6  hash 209

9.3  Redis排序 210

9.4  Redis事務 213

9.5  Redis發布訂閱及示例 216

9.6  Redis持久化 219

第10章  廣告點擊實時大數據分析項目實戰 221

10.1  項目環境準備 221

10.2  數據生成模塊 226

10.3  從Kafka讀取數據 230

10.3.1  bean類AdsInfo 230

10.3.2  工具類MyKafkaUtil 230

10.3.3  從Kafka消費數據 231

10.4  數據統計實現 233

10.4.1  每天每地區熱門廣告點擊率Top3 233

10.4.2  最近1小時內廣告點擊量實時統計 234

第11章  電影影評大數據分析項目實戰 237

11.1  項目介紹 237

11.2  項目實現 238

11.2.1  公共代碼開發 241

11.2.2  平均評分最高的前10部電影 244

11.2.3  電影類別及其平均評分 247

11.2.4  評分次數最多的前10部電影 250