大數據綜合應用實踐

本書系統介紹了大數據綜合應用實踐的技術知識和項目案例。全書共4章，內容包括大數據綜合應用概述、基於Python+MySQL+Kettle的點評網數據採集分析及可視化、基於Hive+MySQL+Spark的零售數據分析及可視化、基於Elasticsearch+Logstash+Kibana+Filebeat的日誌收集分析及可視化。第1章概要介紹了大數據的技術和綜合應用，第2～4章以項目案例為基礎對大數據環境部署、技術知識、上機實踐操作等進行了詳細說明與分析。讀者可參照書中的項目環境部署、項目技術知識、項目實踐詳解，通過系統的項目綜合實踐更好地學習大數據的關鍵技術，提高大數據技術的綜合應用和實踐能力。本書配有微課視頻、教學課件、代碼等教學資源。 本書可以作為高等院校電腦、大數據、電子信息、數學、網絡空間安全等相關學科專業的大數據課程教材，也適合正在學習大數據技術的人員作為實踐教材。

目錄

第1章大數據綜合應用概述001

1.1大數據技術概述001

1.1.1大數據基本概念001

1.1.2大數據技術的發展歷程001

1.1.3大數據的技術框架002

1.1.4大數據生態圈及處理工具003

1.1.5大數據技術的發展趨勢006

1.2大數據綜合應用概述007

1.2.1大數據產業007

1.2.2大數據的應用領域008

1.2.3大數據的典型應用及特徵009

1.2.4大數據應用前景與展望011

1.3本章小結012

第2章基於Python+MySQL+Kettle的點評網數據採集分析及可視化013

2.1項目概述013

2.2項目環境部署014

2.2.1模擬點評網站的部署014

2.2.2項目實踐環境部署020

2.3項目技術知識030

2.3.1網頁解析030

2.3.2網絡爬蟲037

2.3.3數據清洗042

2.3.4數據統計分析與可視化045

2.4項目實踐046

2.4.1點評網網頁分析046

2.4.2Python爬取點評網數據050

2.4.3Kettle數據清洗064

2.4.4統計分析與PyEcharts可視化079

2.5項目小結090

2.6項目拓展訓練090大數據綜合應用實踐

目錄

第3章基於Hive+MySQL+Spark的零售數據分析及可視化091

3.1項目概述091

3.2項目環境部署092

3.2.1安裝Java092

3.2.2安裝Hadoop098

3.2.3安裝MySQL102

3.2.4安裝Hive107

3.2.5安裝Sqoop113

3.2.6安裝Spark115

3.2.7利用Echarts可視化117

3.3項目技術知識123

3.3.1Spark基本原理123

3.3.2Hive數據倉庫130

3.3.3PySpark簡介134

3.3.4Spark SQL概述137

3.3.5MLlib和關聯分析138

3.4項目實踐141

3.4.1基於Hive+MySQL+Sqoop的數據存儲與傳輸142

3.4.2基於零售交易數據的Spark數據處理與分析150

3.4.3可視化展示161

3.5項目小結189

3.6項目拓展訓練190

第4章基於Elasticsearch+Logstash+Kibana+Filebeat的日誌收集分析及可視化191

4.1項目概述191

4.2項目環境部署192

4.2.1Elasticsearch安裝193

4.2.2Logstash安裝194

4.2.3Kibana安裝195

4.2.4Filebeat安裝195

4.2.5Kafka安裝196

4.3項目技術知識198

4.3.1ELKF Stack數據處理工具198

4.3.2Beats輕量級日誌採集器198

4.3.3Logstash日誌分析過濾工具204

4.3.4Elasticsearch分佈式日誌搜索引擎213

4.3.5Kibana日誌匯總、分析和搜索展示系統227

4.3.6Kafka分佈式消息系統234

4.4項目實踐235

4.4.1網約車平臺日誌數據收集236

4.4.2網約車平臺日誌數據傳輸和過濾238

4.4.3日誌數據匯集及存儲240

4.4.4日誌數據分析及可視化展示240

4.5項目小結252

4.6項目拓展訓練252

參考文獻253