大數據系統工程實訓
張誌偉 梁楠楠 楊小瑩
- 出版商: 電子工業
- 出版日期: 2025-09-01
- 售價: $354
- 語言: 簡體中文
- 頁數: 238
- ISBN: 7121516705
- ISBN-13: 9787121516702
-
相關分類:
大數據 Big-data
下單後立即進貨 (約4週~6週)
相關主題
商品描述
大數據技術的落地依賴“工具鏈掌握＋場景化 應用”的雙重能力。從Python爬蟲、Hive數據分析 到Flink實時計算、數倉架構設計，技能點的綜合應 用能力已成為企業招聘的核心標準。本書以“真實 項目驅動實訓”為核心思路，精選4個典型實訓項目 構建階梯式訓練體系，涵蓋離線處理、實時計算、 數倉設計等核心場景，強化工程思維；整合Python 爬蟲、Hive、Flink、Kafka等多種主流工具，覆蓋 數據采集、清洗、存儲、分析、可視化全流程；融 入大數據競賽考點，銜接崗位技能需求。本書適合 作為高等學校大數據相關專業的實訓教材，也可為 數據工程從業者提供實踐參考。
目錄大綱
第1章 歷史天氣數據分析項目
任務一 需求分析
任務二 技術架構分析及設計
任務三 歷史天氣數據采集
任務四 導入天氣數據至 Hive
任務五 歷史天氣數據分析
任務六 結果指標表導出
任務七 數據可視化
第2章 音樂 系統
任務一 需求分析
任務二 技術架構分析及設計
任務三 數據集合和項目概述
任務四 數據加載模塊
任務五 數據統計模塊
任務六 離線 模塊
任務七 實時 模塊
第3章 電商離線數倉
任務一 需求分析
任務二 數倉概述及架構分析
任務三 數據源
任務四 數倉建設
任務五 工作流調度
任務六 數據可視化
第4章 智慧社區實時數倉
任務一 需求分析
任務二 技術架構分析及設計
任務三 數據源與預處理
任務四 實時計算框架配置
任務五 DIM 層構建
任務六 ODS 層構建
任務七 DWD 層構建
任務八 DWS 層構建
任務九 數據可視化與應用
附錄A Hadoop 部署與配置
附錄B MySQL 部署
附錄C Hive 部署與配置
附錄D DataX 部署與配置
附錄E Zookeeper 部署與配置
附錄F Kafka 部署與配置
附錄G Flume 部署與配置
附錄H DolphinScheduler 部署與配置
附錄I Superset 部署與配置
