大數據技術導論

本書根據現有的大數據技術理論，綜合介紹了大數據技術的相關基礎理論知識，並提供了部分實踐操作介紹。
全書共 8 個章節，內容包含大數據的概念與特徵，大數據計量，大數據生命週期，大數據與雲計算，
大數據處理架構Hadoop，分布式文件系統 HDFS，MapReduce，大數據編程語言Python，Spark，
R語言，爬蟲技術，MINIST 數字識別技術，數據建模，k- 鄰近分類算法，聚類分析，
數據預處理，數據可視化，大數據應用，大數據安全與威脅。
本書分別在大數據采集與預處理、數據挖掘與分析等重要章節中安排了入門級的實踐操作，
以便讀者更好地學習和掌握大數據關鍵技術。
本書可以作為高等院校數據科學與大數據等相關專業的課程教材，
亦可作為大數據愛好者的科普讀物。
 

前言
第1章概論
1.1 揭秘大數據
1.1.1 大數據概念和特徵
1.1.2 大數據的計量
1.1.3 大數據生命週期
1.1.4 大數據與雲計算
1.1.5 大數據時代的重大變革
1.2 大數據關鍵技術
練習1
第2章大數據生態系統
2.1 Hadoop
2.1.1 Hadoop簡介
2.1.2 Hadoop優勢
2.2 HDFS
2.2.1 HDFS體系結構
2.2.2 HDFS存儲原理
2.2.3 HDFS常用操作
2.3 MapReduce
2.3.1 MapReduce簡介
2.3.2 MapReduce的適用場景
2.3.3 MapReduce的優點和缺點
2.4 大數據編程語言
2.4.1 Python
2.4.2 Spark
2.4.3 R語言
練習2
第3章大數據採集與預處理
3.1 數據採集
3.1.1 數據採集分類
3.1.2 數據採集方法
3.1.3 數據採集工具
3.2 數據清洗
3.2.1 數據清洗任務
3.2.2 數據清洗過程
3.3 數據變換
3.3.1 規範化
3.3.2 數據變換分類
3.4 數據分析與採集實例：線性回歸和邏輯回歸
練習3
第4章數據挖掘與分析
4.1 大數據分析概述
4.1.1 數據分析原則
4.1.2 大數據分析特點
4.1.3 大數據分析流程
4.1.4 數據分析師基本技能和素質
4.1.5 大數據分析難點
4.2 數據認知
4.2.1 數據預處理
4.2.2 概率分析
4.2.3 對比分析
4.2.4 相關分析
4.3 數據建模
4.3.1 模型分類
4.3.2 決策樹
4.3.3 關聯分析
4.3.4 回歸分析
4.3.5 聚類分析
4.3.6 k-近鄰分類算法
4.4 數據挖掘與分析案例分析
練習4
第5章數據可視化技術
5.1 數據可視化概述
5.2 數據可視化的作用
5.3 數據可視化的分類
5.4 數據可視化的發展歷史
5.5 數據可視化發展方向與挑戰
5.6 數據可視化的流程與原則
5.7 大數據可視化實操
5.7.1 Tableau安裝與ODBC創建
5.7.2 Tableau繪圖實操演示
練習5
第6章大數據應用
6.1 互聯網行業大數據應用
6.2 金融行業大數據應用
6.3 保險行業大數據應用
6.4 旅遊行業大數據應用
6.5 政府大數據應用
6.5.1 發展歷程
6.5.2 行業痛點
6.5.3 發展機會
6.5.4 社會價值
6.5.5 機遇與挑戰
6.6 大數據應用平台
練習6
第7章大數據安全
7.1 大數據安全的重要意義
7.2 大數據面臨的挑戰
7.3 大數據的安全威脅
7.3.1 大數據基礎設施安全威脅
7.3.2 大數據存儲安全威脅
7.3.3 大數據的隱私洩露
7.3.4 大數據的其他安全威脅
練習7
第8章大數據案例實操分析
8.1 大數據案例分析的前期準備工作
8.2 案例一：爬蟲技術
8.2.1 認識爬蟲
8.2.2 認識HTTP
8.2.3 實現HTTP請求
8.2.4 常規動態網頁爬取
8.3 案例二：MINIST數字識別技術
練習8
參考文獻