大數據思維與決策

第1章 走進大數據時代 1
開篇案例 1
1.1 信息時代的演進 2
1.1.1 從信息化到數字化再到智能化 3
1.1.2 數據爆炸與數字化社會 4
1.1.3 第四次工業革命與數據革命 7
1.2 大數據時代的基本特征 9
1.2.1 數據量規模巨大 9
1.2.2 數據類型多樣化 11
1.2.3 數據處理實時性 11
1.2.4 社會運行數字化 12
1.3 大數據對社會發展的影響 14
1.3.1 商業模式的變革 14
1.3.2 社會治理的數字化轉型 16
1.3.3 數字生活與個人行為改變 18
1.3.4 就業結構的調整 20
1.4 大數據對科學研究範式的改變 22
1.4.1 科學研究範式的演進 22
1.4.2 大數據如何改變科學研究方式 23
1.4.3 數據密集型科學的價值與局限 24
1.5 案例分析：疫情防控期間數據治理與社會協同 24
1.5.1 病毒數據監測 24
1.5.2 流調與疫情追蹤 25
1.5.3 物資調配與資源配置 25
1.5.4 社會運行保障 26
1.5.5 數據治理的挑戰 26
本章小結 26
實踐活動 27
第2章 認識大數據 29
開篇案例 29
2.1 大數據概述 30
2.1.1 概念提出與發展 30
2.1.2 基本內涵 32
2.1.3 大數據與傳統數據的區別 33
2.1.4 大數據是一種新型的信息資源 34
2.2 大數據的“5V”特征 35
2.2.1 體量大 36
2.2.2 速度快 36
2.2.3 類型多 36
2.2.4 價值密度低 37
2.2.5 真實性 37
2.3 大數據類型 38
2.3.1 結構化數據 38
2.3.2 半結構化數據 39
2.3.3 非結構化數據 39
2.4 數據的其他分類方式 40
2.4.1 按時間特性劃分 40
2.4.2 按開放屬性劃分 41
2.5 大數據的生命周期 42
2.5.1 數據產生與采集 42
2.5.2 數據存儲與管理 43
2.5.3 數據處理與分析 43
2.5.4 數據應用與服務 43
2.5.5 數據安全、共享與銷毀 43
2.6 案例分析：電商平臺的數據生命周期 44
2.6.1 用戶行為數據產生 45
2.6.2 平臺數據采集與存儲 45
2.6.3 數據分析與用戶畫像 45
2.6.4 推薦系統與商業應用 46
本章小結 46
實踐活動 47
第3章 大數據思維 52
開篇案例 53
3.1 從傳統思維到大數據思維 53
3.1.1 從抽樣到全量 54
3.1.2 從精確控制到概率 55
3.1.3 從因果到關聯 56
3.1.4 從經驗到數據驅動 57
3.2 大數據思維的核心要素 58
3.2.1 數據意識 59
3.2.2 統計與概率思維 60
3.2.3 計算思維 61
3.2.4 系統思維 62
3.2.5 創新思維 63
3.3 大數據思維驅動的決策變革 64
3.3.1 循證決策 65
3.3.2 預測性決策 65
3.3.3 實時決策 65
3.3.4 個性化決策 66
3.4 大數據思維的邊界與反思 67
3.4.1 數據偏差與算法偏差 67
3.4.2 信息繭房與認知局限 69
3.4.3 技術理性與價值判斷 70
3.4.4 數據驅動決策中的倫理邊界 71
3.5 案例分析：Netflix 的個性化推薦與數據思維 71
3.5.1 Netflix 如何理解用戶行為 72
3.5.2 推薦系統背後的數據與算法邏輯 73
3.5.3 個性化推薦帶來的價值與爭議 74
3.5.4 從案例看大數據思維的優勢與邊界 74
本章小結 75
拓展閱讀 76
第4章 數據采集與預處理 79
開篇案例 80
4.1 數據采集概述 81
4.1.1 數據采集的本質和意義 81
4.1.2 數據采集方式的演進 82
4.1.3 大數據采集的特點與挑戰 83
4.1.4 數據采集的基本原則 84
4.2 數據采集的主要來源 85
4.2.1 互聯網數據 86
4.2.2 物聯網與傳感器數據 87
4.2.3 系統日誌數據 88
4.2.4 企業業務數據 89
4.2.5 政府與公共數據 90
4.2.6 社交媒體數據 91
4.3 數據采集的主要方式 92
4.3.1 日誌文件采集 92
4.3.2 網絡爬蟲采集 94
4.3.3 API接口采集 95
4.3.4 數據庫同步與文件導入 96
4.3.5 人工填報與問卷采集 97
4.4 數據質量問題 99
4.4.1 數據缺失 99
4.4.2 數據錯誤 100
4.4.3 數據重復與冗余 101
4.4.4 數據不一致與時效性問題 102
4.5 數據預處理 103
4.5.1 數據清洗 104
4.5.2 數據集成 105
4.5.3 數據轉換 106
4.5.4 數據規約 109
4.5.5 數據標準化與質量改進 110
4.6 數據采集的規範邊界 111
4.7 案例分析：城市治理系統的多源數據采集與預處理 112
4.7.1 數據來源與采集方式 113
4.7.2 數據預處理過程 114
4.7.3 數據質量與規範邊界 115
4.7.4 案例啟示 115
本章小結 116
實踐活動 116
第5章 數據存儲與數據管理 119
開篇案例 119
5.1 數據存儲方式的演進 121
5.1.1 文件系統與關系數據庫 122
5.1.2 傳統數據存儲的局限性 124
5.1.3 大數據時代對存儲的要求 124
5.2 大數據時代的數據存儲技術 126
5.2.1 分布式文件系統 126
5.2.2 NoSQL數據庫 128
5.2.3 NewSQL數據庫 131
5.2.4 雲存儲服務 132
5.3 數據平臺與數據組織方式 134
5.3.1 數據倉庫 135
5.3.2 數據湖 138
5.3.3 數據集市 139
5.4 企業級數據管理與數據治理 143
5.4.1 元數據管理 143
5.4.2 數據標準與數據質量管理 143
5.4.3 數據共享與數據協同 144
5.4.4 企業數據平臺建設 144
5.5 案例分析“浙裏辦”背後的數據整合與平臺支撐 145
5.5.1 從多頭跑到“一網通辦” 146
5.5.2 跨部門數據整合與平臺匯聚 146
5.5.3 數據管理與政務服務支撐 148
5.5.4 政務數據平臺的建設啟示 149
本章小結 149
拓展閱讀 150
第6章 大數據分析與挖掘 155
開篇案例 155
6.1 認識數據分析與數據挖掘 156
6.1.1 數據分析與數據挖掘的基本概念 156
6.1.2 大數據分析與傳統數據分析的區別 158
6.1.3 數據分析創造價值 159
6.1.4 數據分析在決策中的作用 160
6.1.5 數據如何支持預測 160
6.2 數據分析的基本流程 161
6.2.1 明確問題與分析目標 162
6.2.2 數據準備與探索分析 162
6.2.3 選擇方法與開展分析 163
6.2.4 結果解釋、驗證與持續優化 164
6.3 常見的數據分析與數據挖掘方法 164
6.3.1 分類與預測分析 165
6.3.2 聚類與用戶分群 165
6.3.3 關聯規則與模式發現 166
6.3.4 時間變化與異常識別 167
6.4 面向特殊類型數據的分析 169
6.4.1 文本數據分析 169
6.4.2 社交網絡與關系數據分析 171
6.5 從分析結果到決策行動 172
6.5.1 分析結果的可靠性評估 172
6.5.2 從分析結果到業務洞察 173
6.5.3 從數據洞察到決策行動 174
6.6 案例分析：電商平臺的大數據分析實踐 176
6.6.1 業務背景與分析目標 176
6.6.2 數據準備與探索 178
6.6.3 多維度分析與挖掘 179
6.6.4 分析結果的業務應用 183
6.6.5 效果評估與持續優化 186
本章小結 190
拓展閱讀 190
第7章 大數據可視化 195
開篇案例 196
7.1 數據可視化的基本認識 196
7.1.1 數據可視化的概念與作用 197
7.1.2 數據可視化的發展演進 198
7.1.3 數據可視化的主要特點 198
7.1.4 數據可視化的一般流程 200
7.2 數據可視化的價值與應用 200
7.2.1 數據觀測與動態監測 201
7.2.2 規律發現與問題識別 201
7.2.3 信息溝通與決策支持 202
7.3 數據可視化的設計基礎 204
7.3.1 數據可視化設計原則 204
7.3.2 常見圖表類型與適用場景 206
7.3.3 數據可視化中的常見誤區 207
7.4 不同數據類型的可視化表達 208
7.4.1 文本與語義數據可視化 209
7.4.2 網絡結構與關系數據可視化 211
7.4.3 地理空間數據可視化 214
7.4.4 多維數據可視化 216
7.4.5 實時數據與交互可視化 218
7.5 案例分析：共享單車數據可視化與運營決策 220
7.5.1 問題背景與數據來源 220
7.5.2 數據整理與分析框架 222
7.5.3 用車需求與時間規律分析 222
7.5.4 氣象因素與用戶行為特征分析 223
7.5.5 可視化結果支持下的運營優化建議 225
本章小結 227
拓展閱讀 227
第8章 大數據安全與倫理 231
開篇案例 231
8.1 大數據安全概述 232
8.1.1 數據安全的基本概念與內涵 233
8.1.2 數據安全的重要性 233
8.1.3 大數據安全與傳統信息安全的區別 234
8.1.4 大數據安全問題的形成原因 235
8.1.5 大數據安全問題的分類 236
8.1.6 大數據安全面臨的主要威脅 237
8.2 大數據安全技術體系 238
8.2.1 數據加密技術 239
8.2.2 身份認證與訪問控制 240
8.2.3 安全審計與風險監測 242
8.2.4 數據脫敏與匿名化 243
8.2.5 新興數據安全技術 244
8.3 數據安全治理與合規管理 245
8.4 大數據隱私保護 246
8.4.1 隱私的概念與內涵 246
8.4.2 大數據環境下的隱私風險 247
8.4.3 隱私保護的主要方法 248
8.4.4 數據利用與隱私保護的平衡 249
8.5 大數據倫理與社會責任 250
8.5.1 數據倫理的概念 251
8.5.2 算法偏見與算法歧視 252
8.5.3 知情同意、數據權利與平臺責任 252
8.5.4 數據壟斷與企業社會責任 253
8.6 案例分析：典型數據安全與隱私事件透視 254
8.6.1 棱鏡門事件 254
8.6.2 Equifax數據泄露事件 255
8.6.3 手機應用過度采集個人信息 256
8.6.4 免費Wi-Fi與“探針盒子” 256
本章小結 257
實踐活動 258
第9章 大數據與新興技術融合 261
開篇案例 261
9.1 新興技術與大數據的協同發展 262
9.1.1 新興數字技術的內涵與類型 263
9.1.2 大數據的樞紐作用 263
9.1.3 技術融合的演進趨勢 264
9.2 大數據與人工智能 265
9.2.1 人工智能發展的數據基礎 265
9.2.2 大數據對人工智能發展的推動 266
9.2.3 人工智能對數據分析能力的提升 266
9.2.4 大數據與人工智能的融合應用 267
9.3 大數據與雲計算 270
9.3.1 雲計算對大數據處理的支撐 270
9.3.2 大數據對雲計算演進的推動 272
9.3.3 雲原生環境下的數據處理方式 273
9.4 大數據與物聯網 274
9.4.1 物聯網與現實世界的數據連接 274
9.4.2 物聯網作為大數據的重要來源 276
9.4.3 物聯網數據的特點與挑戰 277
9.4.4 大數據驅動的物聯網智能化發展 278
9.5 大數據與區塊鏈 278
9.5.1 區塊鏈對數據可信性的提升 279
9.5.2 區塊鏈在數據確權與流通中的應用 279
9.5.3 大數據與區塊鏈的互補關系 280
9.6 大數據、5G和邊緣計算 281
9.6.1 5G網絡對數據連接方式的改變 282
9.6.2 邊緣計算對數據處理時效性的提升 282
9.6.3 雲邊端協同的新應用場景 284
9.7 案例分析：智慧城市中的技術融合——杭州“城市大腦” 285
9.7.1 從城市感知到城市認知 285
9.7.2 多種技術協同下的治理閉環 286
9.7.3 城市大腦的實踐啟示 287
本章小結 288
拓展閱讀 288
第10章 數據經濟與數據產業生態 292
開篇案例 292
10.1 數據作為新型生產要素 293
10.1.1 數據經濟的基本內涵 293
10.1.2 數據經濟的主要特征 294
10.1.3 數據要素的價值基礎 294
10.2 數據價值的形成 296
10.2.1 數據價值創造的基本鏈條 296
10.2.2 數據如何轉化為產品、服務與決策支持 297
10.2.3 數據價值實現的條件與約束 298
10.3 數據產業鏈與產業生態 299
10.3.1 數據產業鏈的基本結構 299
10.3.2 數據產業生態中的主要參與主體 301
10.3.3 產業鏈協同與平臺作用 301
10.4 數據流通與數據價值釋放 302
10.4.1 數據流通有助於提高數據資源利用效率 302
10.4.2 數據孤島制約數據價值實現 303
10.4.3 數據共享是打通數據孤島的重要路徑 303
10.4.4 數據交易推動數據資源的市場化配置 304
10.5 數據開放與公共價值 305
10.5.1 數據開放的內涵及其與信息公開的區別 306
10.5.2 數據開放的公共價值與實踐推進 307
10.6 數據流程的規則邊界與治理 308
10.6.1 數據流通的邊界與合規要求 308
10.6.2 數據確權、授權與收益分配 309
10.6.3 平臺治理、公共利益與規則機制 310
本章小結 310