大數據導論

第1章 大數據概述 1
1.1　數據 1
1.1.1 數據的概念 1
1.1.2 大數據的概念 1
1.2　大數據發展的技術背景 2
1.2.1 因特網技術的發展 2
1.2.2 存儲技術的發展 2
1.2.3 計算能力的發展 2
1.3　大數據的主要來源 3
1.3.1 因特網大數據 3
1.3.2 傳統行業大數據 3
1.3.3 音頻、視頻和數據 4
1.3.4 移動設備的實時記錄與跟蹤 4
1.4　大數據的特徵 5
1.4.1 規模性 5
1.4.2 多樣性 6
1.4.3 高速性 6
1.4.4 價值密度低 6
1.5　大數據的應用 6
1.5.1 大數據的應用環境 6
1.5.2 大數據的應用領域 7
1.6 中國的大數據產業鏈 7
1.7 我國大數據的發展態勢 10
1.8 大數據與數字經濟 12
第2章 大數據思維 14
2.1 大數據的思維特點 14
2.1.1 大數據的總體思維 14
2.1.2 大數據的非精確思維 15
2.1.3 大數據的非因果性思維 15
2.1.4 以數據為中心 16
2.1.5 大數據的運營思維 16
2.1.6 數據的收集 16
2.1.7 數據的分類 16
2.2 大數據的應用思維 17
2.3 大數據的價值思維 19
2.3.1 識別與串聯價值 19
2.3.2 描述價值 19
2.3.3 時間價值 19
2.3.4 組合價值 19
2.3.5 預測價值 20
2.4 大數據的分析思維 20
2.5 大數據分析的特點 21
第3章 大數據採集與獲取技術 25
3.1 數據源分佈 25
3.2 內部數據 26
3.2.1 政府內部數據 26
3.2.2 各利益主體自營數據 26
3.2.3 物聯網數據 27
3.2.4 因特網數據 27
3.3 內部數據獲取方法 28
3.3.1 內部數據的ETL技術 28
3.3.2 常用ETL工具說明 30
3.4 外部數據及獲取方法 32
3.4.1 網絡數據源的特性與價值 32
3.4.2 網絡爬蟲 33
3.4.3 網絡爬蟲應用註意事項 34
3.5 深網的數據及獲取的方法 35
3.5.1 深網的含義 35
3.5.2 深網數據的特點 36
3.5.3 深網數據的獲取方法 36
第4章 大數據存儲與管理技術 38
4.1 數據存儲的基本概念 38
4.1.1 存儲容量 38
4.1.2 存儲性能 38
4.1.3 存儲可靠性和可用性 39
4.1.4 存儲成本 40
4.2 常用的數據存儲介質 40
4.2.1 機械硬盤 40
4.2.2 固態硬盤 41
4.2.3 可記錄光盤 42
4.2.4 U盤 42
4.2.5 快閃內存卡 43
4.2.6 數據存儲介質的選擇原則 43
4.3 數據存儲模式 43
4.3.1 DAS 44
4.3.2 NAS 45
4.3.3 SAN 46
4.3.4 存儲模型選擇 47
4.4 大數據管理技術 47
4.1.1 文件系統 47
4.4.2 分佈式文件系統 48
4.4.3 數據庫 51
4.4.4 鍵-值數據庫 52
4.4.5 分佈式數據庫 53
4.4.6 關系型數據庫 54
4.4.7 數據倉庫 55
4.4.8 文檔數據庫 56
4.4.9 圖形數據庫 57
4.4.10 雲存儲 58
第5章 大數據處理技術 61
5.1 大數據處理框架分類 61
5.1.1 批處理框架 61
5.1.2 流式處理框架 62
5.1.3 交互式處理框架 63
5.2 Hadoop 63
5.2.1 Hadoop?項目結構及技術分佈 64
5.2.2 MapReduce?模型 65
5.3 Spark 67
5.3.1 技術架構 68
5.3.2 基本流程 68
5.3.3 Spark?程序運行流程 69
第6章 大數據分析技術 71
6.1 大數據分析的概念 71
6.2 大數據的處理流程 71
6.3 大數據分析的方法 72
6.4 數據特徵工程 73
6.4.1 特徵構建 74
6.4.2 特徵選擇 75
6.4.3 特徵提取 76
6.5 大數據分析的主要技術 76
6.5.1 深度學習 76
6.5.2 知識計算 80
6.6 數據可視化 89
6.6.1 數據可視化分析方法 90
6.6.2 可視化分析的常用工具 92
6.6.3 數據可視化的應用舉例 93
第7章 大數據安全 94
7.1 大數據安全概述 94
7.1.1 大數據安全的意義 95
7.1.2 大數據安全面臨的問題 95
7.2 大數據隱私保護 97
7.2.1 數據保護與保密 98
7.2.2 國內隱私保護相關政策法規 98
7.3 典型案例 100
7.3.1 棱鏡門事件 100
7.3.2 維基解密 101
7.3.3 Facebook?數據濫用事件 101
7.3.4 手機應用軟件過度採集個人信息 102
7.3.5 12306?數據泄露 103
7.3.6 免費Wi-Fi?竊取用戶信息 103
7.3.7 收集個人隱私信息的“探針盒子” 104
第8章 大數據與雲計算、物聯網、人工智能 105
8.1 雲計算 105
8.1.1 雲計算的概念 105
8.1.2 雲計算的特點 105
8.1.3 雲計算的分類 106
8.1.4 雲計算的服務模式 107
8.1.5 主流的雲計算廠商 108
8.2 物聯網 111
8.2.1 物聯網的概念 111
8.2.2 物聯網的核心技術 111
8.2.3 物聯網的特點 112
8.3 人工智能 113
8.3.1 人工智能的概念 113
8.3.2 人工智能的關鍵技術 114
8.4 大數據與雲計算、物聯網和人工智能的關系 116
第9章 大數據應用 118
9.1 大數據與人工智能技術在新冠疫情防控中的應用 118
9.1.1 助力新型冠狀病毒疫情防控的進展 118
9.1.2 助力新型冠狀病毒智能醫療診斷服務 119
9.1.3 助力新型冠狀病毒疫苗研發和藥物篩選 120
9.1.4 助力抗疫資源的生產組織與調度 120
9.1.5 助力新型冠狀病毒疫情溯源與監測預警 121
9.2 大數據用於非法集資預警 122
9.2.1 挑戰 123
9.2.2 實施過程/解決方案 123
9.2.3 效果總結 126
9.3 大數據在大型活動安全預警中的應用 126
9.3.1 問題分析 127
9.3.2 總體架構 127
9.3.3 核心技術 129
9.3.4 實際應用 130
9.4 ?“智慧法院”數據融合分析與集成應用 130
9.4.1 應用背景 130
9.4.2 ?“智慧法院”數據融合分析及集成應用示範平臺架構 131
9.4.3 共性關鍵技術 133
9.4.4 應用案例 135
參考文獻 138