大數據離線與實時技術

王波，浙江安防職業技術學院，人工智能學院副教授。信息系統項目管理師、高級技師。有豐富的大數據行業工作經驗，曾長期從事政府信息化和醫保大數據應用相關工作。參與授課《大數據離線與實時技術》、《大數據可視化分析》、《數據采集和清洗》等課程，長期致力於引入企業產業項目開展課程建設和教學研究。指導學生多次獲得省級職業院校技能大賽獎項。主持或參與多項大數據處理和應用的課題，發表高水平論文五篇以上。

項目準備
項目描述
學習目標
項目實施
任務1 Spark分布式集群搭建
1.1 任務描述
1.2 任務實施
1.2.1 工單1.1：虛擬機環境搭建與配置
1.2.2 工單1.2：Hadoop分布式集群部署
1.2.3 工單1.3：Spark集群部署——Standalone模式
1.2.4 工單1.4：Spark集群部署——on YARN模式
1.2.5 工單1.5：PySpark單詞計數
1.3 知識鏈接
1.3.1 Spark基礎
1.3.2 Spark運行原理
1.3.3 PySpark基礎
1.4 任務總結
1.5 課後練習
任務2 Spark Core離線計算
2.1 任務描述
2.2 任務實施
2.2.1 工單2.1：電影評分數據集初探
2.2.2 工單2.2：離線計算電影總數和不同年份的電影數量
2.2.3 工單2.3：離線計算電影評分統計信息
2.2.4 工單2.4：離線計算跨文件平均值
2.2.5 工單2.5：PySpark文件讀寫
2.3 知識鏈接
2.3.1 RDD基礎
2.3.2 使用RDD
2.3.3 鍵值對RDD
2.3.4 廣播與累加器
2.4 任務總結
2.5 課後練習
任務3 Spark SQL離線計算
3.1 任務描述
3.2 任務實施
3.2.1 工單3.1：DataFrame基本操作
3.2.2 工單3.2：Spark SQL單詞計數
3.2.3 工單3.3：單數據離線計算
3.2.4 工單3.4：多數據連接離線計算
3.2.5 工單3.5：Spark SQL調優
3.3 知識鏈接
3.3.1 Spark SQL基礎
3.3.2 Spark SQL編程
3.3.3 Spark SQL調優
3.4 任務總結
3.5 課後練習
任務4 實時計算環境搭建
4.1 任務描述
4.2 任務實施
4.2.1 工單4.1：Flume的安裝與應用
4.2.2 工單4.2：ZooKeeper的安裝與配置
4.2.3 工單4.3：Kafka的安裝與應用
4.2.4 工單4.4：模擬生成日誌數據
4.2.5 工單4.5：Flume和HDFS整合
4.2.6 工單4.6：Flume和Kafka整合
4.3 知識鏈接
4.3.1 Flume基礎
4.3.2 ZooKeeper基礎
4.3.3 Kafka基礎
4.4 任務總結
4.5 課後練習
任務5 實時計算實現
5.1 任務描述
5.2 任務實施
5.2.1 工單5.1：Spark Streaming實時單詞計數
5.2.2 工單5.2：Spark Streaming實時計算電影評分數據集
5.2.3 工單5.3：Structured Streaming實時單詞計數
5.2.4 工單5.4：Structured Streaming實時計算電影評分數據集
5.3 知識鏈接
5.3.1 實時計算基礎
5.3.2 Spark Streaming基礎
5.3.3 Structured Streaming基礎
5.4 任務總結
5.5 課後練習
任務6 實時計算結果可視化
6.1 任務描述
6.2 任務實施
6.2.1 工單6.1：創建Flask服務器
6.2.2 工單6.2：編寫前端代碼
6.2.3 工單6.3：實時數據可視化
6.3 知識鏈接
6.3.1 Flask-SocketIO基礎
6.3.2 Flask基礎
6.3.3 ECharts基礎
6.4 任務總結
6.5 課後練習