Spark大數據技術與應用（微課版）（第3版）

肖芳，女，高級工程師。2003年進入廣東水利電力職業技術學院計算機信息工程系（現為大數據與人工智能學院學院），擔任計算機信息管理、大數據技術專業專任教師。2018年作為主編編寫出版《Spark大數據技術與應用》，2020年12月被評為教育部“十三五”職業教育國家規劃教材。2022年作為主編編寫出版《Spark大數據技術與應用（第2版）（微課版）》，2024年6月被評為教育部“十四五”職業教育國家規劃教材。曾獲中國科學院廣州分院廣東省科學院科技成果開發二等獎，在各類期刊上發表過多篇論文，獲得3項軟件著作權。

項目1 搭建Spark集群——Spark概述
學習目標
項目背景
思維導圖
知識準備
1.1 Spark簡介
1.1.1 Spark的特點
1.1.2 Spark生態圈
1.1.3 Spark的應用場景
1.2 Spark運行架構與原理
1.2.1 Spark架構
1.2.2 Spark作業運行流程
1.2.3 Spark核心數據集RDD
1.2.4 Spark核心原理
項目實施
任務1.1 搭建單機版環境
任務1.2 搭建單機偽分布式集群
任務1.3 搭建完全分布式集群
【項目小結】
【課後習題】
項目2 查詢手機號碼信息——Scala基礎
學習目標
項目背景
思維導圖
知識準備
2.1 安裝與運行Scala
2.1.1 Scala語言
2.1.2 Scala特性
2.1.3 安裝Scala
2.1.4 運行Scala
2.2 Scala基本語法
2.2.1 Scala數據類型
2.2.2 定義與使用常量、變量
2.2.3 使用運算符
2.2.4 定義與使用數組
2.2.5 定義與使用函數
2.3 Scala控制結構
2.3.1 使用if判斷
2.3.2 使用for循環
2.4 Scala集合類型
2.4.1 定義與使用列表
2.4.2 定義與使用集合
2.4.3 定義與使用映射
2.4.4 定義與使用元組
2.4.5 使用函數組合器
2.5 Scala面向對象編程
2.5.1 定義Scala類
2.5.2 使用Scala單例模式
2.5.3 使用Scala模式匹配
2.5.4 讀寫文件
項目實施
任務2.1 識別號碼類型
任務2.2 統計廣州號碼段數量
任務2.3 根據歸屬地對手機號碼段分組
任務2.4 編寫手機號碼歸屬地信息查詢程序
【項目小結】
【實訓】
實訓1 使用Scala編寫函數過濾文本中的回文單詞
實訓2 使用Scala編程輸出九九乘法表
【課後習題】
項目3 查詢和統計員工薪資數據——Spark Shell編程
學習目標
項目背景
思維導圖
知識準備
3.1 創建Spark RDD
3.1.1 通過內存中已有數據創建RDD
3.1.2 從外部存儲系統中讀取數據創建RDD
3.2 RDD基礎操作
3.2.1 使用map()方法轉換數據
3.2.2 使用sortBy()方法進行排序
3.2.3 使用collect()方法查詢數據
3.2.4 使用flatMap()方法轉換數據
3.2.5 使用take()方法獲取數據
3.3 RDD進階操作
3.3.1 使用filter()方法進行過濾
3.3.2 使用distinct()方法進行去重
3.3.3 使用簡單的集合操作
3.4 鍵值對RDD操作
3.4.1 鍵值對RDD
3.4.2 創建鍵值對RDD
3.4.3 使用鍵值對RDD的keys與values方法
3.4.4 使用鍵值對RDD的reduceByKey()方法
3.4.5 使用鍵值對RDD的groupByKey()方法
3.5 RDD連接操作
3.5.1 使用join()方法連接兩個RDD
3.5.2 使用zip()方法組合兩個RDD
3.5.3 使用combineByKey()方法合並相同鍵的值
3.5.4 使用lookup()方法查找指定鍵的值
3.6 RDD文件讀寫
3.6.1 讀取與存儲JSON文件
3.6.2 讀取與存儲CSV文件
3.6.3 讀取與存儲SequenceFile文件
3.6.4 讀取與存儲ObjectFile文件
3.6.5 讀取與存儲純文本文件
項目實施
任務3.1 讀取員工薪資數據創建RDD
任務3.2 查詢上半年實際薪資排名前3的員工信息
任務3.3 輸出上半年或下半年實際薪資大於20萬元的員工姓名
任務3.4 統計每位員工2023年的總實際薪資
任務3.5 查詢每位員工2023年的月均實際薪資
任務3.6 將匯總後的員工薪資存儲為文本文件
【項目小結】
【實訓】
實訓1 通過Spark編程統計某月份的客戶總消費金額
實訓2 通過Spark編程計算各城市的平均氣溫
【課後習題】
項目4 統計分析競賽網站用戶訪問日誌數據——Spark IDE編程
學習目標
項目背景
思維導圖
知識準備
4.1 搭建Spark開發環境
4.1.1 下載與安裝IntelliJ IDEA
4.1.2 Scala插件安裝與使用
4.1.3 AI編程插件的安裝與使用
4.1.4 配置Spark運行環境
4.1.5 運行Spark程序
4.2 Spark持久化和數據分區
4.2.1 設置RDD持久化（緩存）
4.2.2 設置數據分區
項目實施
任務4.1 計算競賽網站每月的訪問量
任務4.2 自定義分區保存
【項目小結】
【實訓】
自定義分區器實現按人物標簽進行數據區分
【課後習題】
項目5 分析水稻品種審定數據——Spark SQL結構化數據文件處理
學習目標
項目背景
思維導圖
知識準備
5.1 Spark SQL簡介
5.1.1 Spark SQL基本概念
5.1.2 配置Spark SQL
5.1.3 Spark SQL與Shell的交互
5.2 DataFrame基礎操作
5.2.1 創建DataFrame對象
5.2.2 查看DataFrame數據
5.2.3 DataFrame查詢操作
5.2.4 DataFrame輸出操作
項目實施
任務5.1 獲取數據
任務5.2 探索與預處理數據
任務5.3 統計分析數據內容
【項目小結