大數據分析及應用項目教程（Spark SQL）

本書以項目任務為載體串聯知識與技能，介紹基於 Spark SQL 技術的大數據分析方法，培養 學習者使用 Spark SQL 技術解決實際數據分析問題的能力，主要內容有大數據分析概述、實踐環 境準備、學生信息處理分析、房產大數據分析與探索、電商大數據分析與探索、Zepplin 數據可視 化。在實現任務的過程中詳細闡述了 Scala 語言基礎、Spark SQL 編程分析、Spark SQL 數據分 析與探索、數據可視化等知識。本書適合作為高等職業院校電腦、大數據、人工智能及相關專業的教材或參考書，也可以 作為數據分析人員的參考書。

第 1 章 大數據分析概述 ..........................................................................................1
任務 1.1 關於大數據分析............................................................................................. 1
情境導入 ........................................................................................................ 1
學習目標和要求 ............................................................................................ 1
1.1.1 什麽是大數據分析 ............................................................................ 2
1.1.2 大數據分析工具 ................................................................................ 5
1.1.3 大數據分析可視化 ............................................................................ 8
任務 1.2 認識 Spark SQL ............................................................................................. 8
情境導入 ........................................................................................................ 8
學習目標和要求 ............................................................................................ 8
1.2.1 Spark SQL 的背景簡介 ..................................................................... 9
1.2.2 Spark SQL 的運行原理 ................................................................... 10
腦圖小結......................................................................................................................... 14
章節練習......................................................................................................................... 16
第 2 章 實踐環境準備 ...........................................................................................17
任務 2.1 Hadoop 集群環境搭建 ................................................................................. 17
情境導入 ...................................................................................................... 17
學習目標和要求 .......................................................................................... 18
2.1.1 環境準備 .......................................................................................... 18
2.1.2 安裝 Hadoop..................................................................................... 35
2.1.3 啟動 Hadoop 集群............................................................................ 45
2.1.4 運行經典案例 wordcount ................................................................ 48
任務 2.2 Spark 集群部署與使用 ................................................................................ 50
情境導入 ...................................................................................................... 50
學習目標和要求 .......................................................................................... 50
2.2.1 安裝 Spark ........................................................................................ 50
2.2.2 啟動 Spark ........................................................................................ 54
2.2.3 Spark 集群測試 ................................................................................ 56
任務 2.3 安裝 Scala ..................................................................................................... 60
情境導入 ...................................................................................................... 60
學習目標和要求 .......................................................................................... 60
2.3.1 下載 Scala 安裝包............................................................................ 61
2.3.2 Scala 安裝配置................................................................................. 61
腦圖小結......................................................................................................................... 62
章節練習......................................................................................................................... 63
第 3 章 學生信息處理分析 ....................................................................................65
任務 3.1 班級基本情況分析....................................................................................... 66
情境導入 ...................................................................................................... 66
學習目標和要求 .......................................................................................... 66
3.1.1 學生所屬班級和男女生數量 .......................................................... 67
3.1.2 以班級為單位整理學生信息 .......................................................... 84
任務 3.2 學生基本情況分析....................................................................................... 96
情境導入 ...................................................................................................... 96
學習目標和要求 .......................................................................................... 96
3.2.1 學生特長情況分析 .......................................................................... 96
3.2.2 學生成績情況分析 ........................................................................ 102
腦圖小結....................................................................................................................... 105
章節練習....................................................................................................................... 106
第 4 章 房產大數據分析與探索 ...........................................................................108
任務 4.1 某房產公司銷售人員業績分析............................................................... 108
情境導入 .................................................................................................... 108
學習目標和要求 ........................................................................................ 110
4.1.1 數據集處理 .................................................................................... 110
4.1.2 數據操作分析 ................................................................................ 116
任務 4.2 某城市近年房產銷售狀況分析................................................................. 131
情境導入 .................................................................................................... 131
學習目標和要求 ........................................................................................ 132
4.2.1 數據準備 ........................................................................................ 132
4.2.2 數據探索與分析 ............................................................................ 134
4.2.3 總結分析 ........................................................................................ 139
腦圖小結....................................................................................................................... 139
章節練習....................................................................................................................... 140
第 5 章 電商大數據分析與探索 ...........................................................................141
任務 5.1 “女裝電子商務評論”數據分析........................................................ 141
情境導入 .................................................................................................... 141
學習目標和要求 ........................................................................................ 142
5.1.1 數據準備 ..................................................................................... 142
5.1.2 數據清洗 ..................................................................................... 152
5.1.3 數據轉換 ..................................................................................... 157
5.1.4 數據分析 ........................................................................................ 162
5.1.5 數據輸出 ........................................................................................ 171
任務 5.2 “在線銷售訂單”數據分析..................................................................... 173
情境導入 .................................................................................................... 173
學習目標和要求 ........................................................................................ 174
5.2.1 數據查詢操作 ................................................................................ 174
5.2.2 數據分析探索 ................................................................................ 184
腦圖小結....................................................................................................................... 191
章節練習....................................................................................................................... 192
第 6 章 Zeppelin 數據可視化 ............................................................................193
任務 6.1 Zeppelin 安裝與部署.................................................................................. 193
情境導入 .................................................................................................... 193
學習目標和要求 ........................................................................................ 193
6.1.1 下載安裝包 .................................................................................... 194
6.1.2 安裝配置 ........................................................................................ 195
6.1.3 測試運行 Zeppelin ......................................................................... 199
任務 6.2 “女裝電子商務評論”數據可視化......................................................... 203
情境導入 .................................................................................................... 203
學習目標和要求 ........................................................................................ 204
6.2.1 加載數據註冊視圖 ........................................................................ 204
6.2.2 執行 SQL 數據可視化................................................................... 208
任務 6.3 “在線銷售訂單”數據可視化................................................................. 212
情境導入 .................................................................................................... 212
學習目標和要求 ........................................................................................ 213
執行 Spark SQL 數據可視化 .................................................................... 213
腦圖小結....................................................................................................................... 216
章節練習....................................................................................................................... 216