大數據采集與分析技術

陳淩雲，現於浙江安防職業技術學院任大數據技術專業講師一職，研究領域為數據分析、數字經濟，擁有軟件設計師、“must”創業指導師等多種資格證書。參與授課《大數據采集與分析技術》、《大數據可視化分析》、《JavaEE框架技術實踐》等課程，致力於項目化課程開發和教學研究。主持市級科研課題六項，發表論文七篇，主持編寫教材一本、專著一本。

項目介紹
項目實施
任務1 大數據集群環境搭建
1.1 任務描述
1.2 任務實施
1.2.1 工單1.1：虛擬機環境搭建
1.2.2 工單1.2：虛擬機環境配置
1.2.3 工單1.3：JDK的安裝與配置
1.2.4 工單1.4：ZooKeeper的安裝與配置
1.2.5 工單1.5：Hadoop環境部署
1.2.6 工單1.6：Hive環境部署
1.3 知識鏈接
1.3.1 大數據概述
1.3.2 大數據的特征
1.3.3 大數據的核心技術
1.3.4 大數據分布式系統架構
1.3.5 環境搭建操作基礎
1.4 任務總結
1.5 課後練習
任務2 數據的采集和存儲
2.1 任務描述
2.2 任務實施
2.2.1 工單2.1：天氣信息采集準備
2.2.2 工單2.2：天氣信息采集執行
2.3 知識鏈接
2.3.1 數據采集方法
2.3.2 網絡數據采集流程
2.3.3 HTTP原理
2.3.4 網頁基礎知識
2.3.5 駝峰命名法
2.4 任務總結
2.5 課後練習
任務3 數據倉庫的構建
3.1 任務描述
3.2 任務實施
3.2.1 工單3.1：貼源層對象創建
3.2.2 工單3.2：貼源層數據加載
3.2.3 工單3.3：貼源層數據導入
3.3 知識鏈接
3.3.1 HDFS基本操作
3.3.2 數據倉庫概述
3.3.3 數據倉庫工具
3.3.4 數據定義語句
3.3.5 數據表基本操作
3.4 任務總結
3.5 課後練習
任務4 數據的清洗和轉換
4.1 任務描述
4.2 任務實施
4.2.1 工單4.1：accidentinfo數據表處理
4.2.2 工單4.2：driverinfo數據表處理
4.2.3 工單4.3：carinfo數據表處理
4.2.4 工單4.4：weatherinfo數據表處理
4.3 知識鏈接
4.3.1 Hive數據查詢語句
4.3.2 Hive運算符
4.3.3 公用表表達式
4.3.4 Hive內置函數
4.3.5 合並操作
4.4 任務總結
4.5 課後練習
任務5 主題加工與分析
5.1 任務描述
5.2 任務實施
5.2.1 工單5.1：明細表構建
5.2.2 工單5.2：數據統計分析
5.2.3 工單5.3：數據遷移
5.3 知識鏈接
5.3.1 分組查詢操作
5.3.2 排序查詢操作
5.3.3 連接查詢操作
5.4 任務總結
5.5 課後練習
任務6 數據可視化
6.1 任務描述
6.2 任務實施
6.2.1 工單6.1：可視化頁面布局
6.2.2 工單6.2：數據接口準備
6.2.3 工單6.3：數據圖表繪制
6.3 知識鏈接
6.3.1 大數據可視化技術
6.3.2 Vue.js漸進式框架
6.3.3 ECharts可視化
6.4 任務總結
6.5 課後練習
參考文獻