大數據導論 原理與技術

前言

第1章　大數據技術概述　1

1.1　大數據的時代背景　1

1.1.1　三次信息化浪潮與人工智能快速發展浪潮　1

1.1.2　大數據的產生原因　2

1.2　大數據的定義　4

1.2.1　大數據的概念　4

1.2.2　大數據的發展歷程　4

1.3　大數據的值和作用　8

1.3.1　大數據決策成為一種新的決策方式　8

1.3.2　大數據應用信息技術與各行業的深度融合　9

1.3.3　大數據開發推動新技術和新應用的不斷湧現　9

1.4　大數據思維　10

1.4.1　大數據對科學研究的影響　10

1.4.2　大數據對思維方式的影響　11

1.5　大數據的來源　12

1.5.1　按產生數據的主體劃分　13

1.5.2　按數據來源的行業劃分　14

1.5.3　按數據存儲的形式劃分　14

1.6　大數據的點　15

1.6.1　數據量大　15

1.6.2　數據類型繁多　16

1.6.3　處理速度快　16

1.6.4　值密度低　16

1.7　大數據與其他新興技術的協同關系　17

1.7.1　大數據與物聯網　17

1.7.2　大數據與雲計算　17

1.7.3　大數據與區塊鏈　18

1.7.4　大數據與人工智能　18

1.8　數據科學與數據　19

1.8.1　數據科學　19

1.8.2　數據　21

1.9　大數據的應用　21

1.9.1　大數據在金融行業的應用　22

1.9.2　大數據在醫療行業的應用　23

1.9.3　大數據在零售行業的應用　24

1.9.4　大數據在教育行業的應用　24

1.9.5　大數據在政府門的應用　25

1.9.6　大數據在能源行業的應用　25

1.9.7　大數據在互聯網行業的應用　 25

小結　26

思考題　26

第2章　大數據的分析過程　27

2.1　數據采集　28

2.1.1　數據類型　28

2.1.2　數據采集方法　31

2.1.3　數據采集工具　34

2.2　數據清洗　35

2.2.1　數據清洗方法　36

2.2.2　數據清洗工具　39

2.3　數據預處理　40

2.3.1　噪聲處理　40

2.3.2　數據轉換　41

2.3.3　數據脫敏　44

2.3.4　數據約簡　45

2.3.5　征工程　47

2.4　數據分析　49

2.4.1　數據探索分析　49

2.4.2　數據建模分析　51

2.5　結果評估　59

2.5.1　分類結果評估　60

2.5.2　關聯規則結果評估　61

2.5.3　回歸結果評估　61

2.5.4　聚類結果評估　62

小結　62

思考題　63

第3章　大數據的存儲系統和算力　64

3.1　傳統的數據存儲與管理技術　64

3.1.1　文件系統　64

3.1.2　關系數據庫　65

3.1.3　ACID原則　66

3.1.4　數據倉庫　68

3.1.5　並行數據庫　69

3.2　大數據時代的數據存儲與管理技術　70

3.2.1　大數據存儲與管理需求　70

3.2.2　大數據對傳統存儲管理技術的挑戰　71

3.2.3　NoSQL數據模型　71

3.2.4　CAP理論　72

3.3　非關系數據庫　74

3.3.1　鍵值存儲數據庫　74

3.3.2　文檔存儲數據庫　75

3.3.3　列族存儲數據庫　76

3.3.4　圖存儲數據庫　76

3.4　分布式文件系統　77

3.4.1　分布式文件系統的基本概念　77

3.4.2　HDFS　78

3.5　分布式數據庫　80

3.5.1　分布式數據庫的基本概念　80

3.5.2　HBase　81

3.6　雲數據庫　83

3.6.1　雲數據庫的基本概念　83

3.6.2　雲數據庫的性　84

3.6.3　雲數據庫與其他數據庫的關系　85

3.6.4　代表性的雲數據庫產品　86

3.7　大數據算力　87

3.7.1　算力的定義與核心作用　87

3.7.2　存儲芯片與算力的協同化　88

3.7.3　算力驅動的技術趨勢與挑戰　88

小結　89

思考題　90

第4章　大數據分析的數學基礎　91

4.1　概率論與統計學基礎　91

4.1.1　大數據與統計學理論的關系　91

4.1.2　數據分布征的統計描述　 92

4.1.3　概率與概率分布　99

4.1.4　抽樣分布　100

4.1.5　點估計與區間估計　101

4.1.6　統計推斷　102

4.2　線性代數基礎　103

4.2.1　矩陣及其運算　103

4.2.2　n維向量　109

4.2.3　線性方程組　110

4.2.4　矩陣的征值與征向量　113

小結　115

思考題　115

第5章　數據挖掘與機器學習　116

5.1　數據挖掘與機器學習概述　116

5.1.1　數據挖掘的定義與核心任務　116

5.1.2　機器學習的基本思想與分類體系　117

5.1.3　兩者的協同關系與應用場景　118

5.2　監督學習與分類預測　118

5.2.1　分類任務的基本流程與評估指標　119

5.2.2　典型算法及其應用場景　119

5.2.3　征選擇與模型化策略　123

5.3　無監督學習與聚類分析　124

5.3.1　聚類任務的核心目標與評估方法　124

5.3.2　主要算法與適用場景　124

5.3.3　降維技術的關聯應用　127

5.4　回歸分析與預測建模　128

5.4.1　回歸任務的基本框架與損失函數　128

5.4.2　典型算法與化方法　129

5.4.3　模型評估與殘差分析　131

5.5　關聯規則與序列模式挖掘　131

5.5.1　關聯規則的基本概念與度量標準　132

5.5.2　典型算法　132

5.6　異常檢測與半監督學習　134

5.6.1　異常檢測的核心方法與評估指標　134

5.6.2　半監督學習的應用場景與實現策略　136

5.7　深度學習與強化學習的融合　137

5.7.1　深度學習在數據挖掘中的勢　137

5.7.2　強化學習的動態決策　139

5.8　實際應用案例與挑戰　140

5.8.1　醫療診斷中的多模態數據融合　140

5.8.2　金融風控中的實時欺詐檢測　141

5.8.3　智能制造中的預測性維護與質量控制　141

小結　142

思考題　142

第6章　大數據編程與計算框架　143

6.1　計算框架　143

6.1.1　批處理框架　144

6.1.2　流式處理框架　145

6.1.3　交互式處理框架　146

6.2　MapReduce　146

6.2.1　MapReduce編程模型的點　147

6.2.2　MapReduce的計算模型　147

6.2.3　MapReduce的資源管理框架　148

6.3　Hadoop　150

6.4　Spark　152

6.4.1　Spark的點及生態系統　153

6.4.2　Spark的架構與原理　154

6.4.3　Spark RDD　155

6.5　Apache Kafka　156

6.5.1　Kafka的點和架構　156

6.5.2　Kafka的應用場景　157

6.6　Hive　157

6.6.1　Hive的點和架構　158

6.6.2　Hive的應用場景　160

6.7　雲計算與大數據計算的協同　160

6.7.1　雲計算服務模式對大數據計算框架的支持　161

6.7.2　雲計算化大數據處理的策略　162

6.7.3　雲環境下的大數據應用案例　163

小結　163

思考題　164

第7章　大數據分析工具與編程語言　165

7.1　統計類工具　165

7.1.1　SPSS　165

7.1.2　SAS　169

7.2　ETL工具　171

7.3　大數據挖掘工具　173

7.3.1　Weka　174

7.3.2　KNIME　176

7.3.3　RapidMiner　178

7.3.4　Orange　179

7.3.5　Oracle Data Mining　181

7.4　編程語言　182

7.4.1　Python　182

7.4.2　R語言　184

小結　186

思考題　186

第8章　大數據的可視化　187

8.1　數據可視化概述　187

8.1.1　數據可視化的定義　187

8.1.2　數據可視化的作用　187

8.1.3　數據可視化的應用場景　189

8.1.4　數據可視化術語　191

8.2　不同類型數據的可視化方法　193

8.2.1　文本數據的可視化　193

8.2.2　地理空間數據的可視化　194

8.2.3　層次和網絡數據的可視化　194

8.2.4　高維非空間數據的可視化　195

8.3　數據可視化圖表　196

8.4　數據可視化工具　 204

8.4.1　主流可視化軟件工具介紹　204

8.4.2　可視化工具的選擇與使用　207

小結　208

思考題　208

第9章　大數據的隱私與治理　209

9.1　大數據的隱私問題　209

9.2　大數據隱私護技術　210

9.2.1　加密技術　210

9.2.2　匿名化技術　212

9.2.3　訪問控制技術　212

9.3　大數據的隱私立法　213

9.4　大數據治理框架　215

9.4.1　大數據治理目標與原則　215

9.4.2　大數據治理組織架構與職責劃分　215

9.4.3　大數據治理流程　216

9.5　元數據和主數據管理　218

9.5.1　元數據管理　218

9.5.2　主數據管理　220

9.6　數據跨境流動治理　222

9.6.1　數據標準化與資產化　222

9.6.2　數據跨境流動是大數據治理的基礎　224

9.6.3　數據跨境流動治理機制　225

9.7　大數據治理應用案例　225

小結　227

思考題　227

第10章?大數據與大模型的協同　228

10.1　大模型的概念　228

10.1.1　大模型的起源　228

10.1.2　大模型的定義　230

10.1.3　大模型的發展趨勢　232

10.1.4　大模型的重要性及應用值　232

10.2　大數據與大模型的關系　234

10.2.1　大數據對大模型的作用　234

10.2.2　大模型對大數據的使用　239

10.2.3　案例分析　241

10.3　大模型的技術基礎　243

10.3.1　Transformer架構與自註意力機制　244

10.3.2　預訓練語言模型　246

10.3.3　微調技術　247

10.3.4　訓練成本　250

10.4　大模型與大數據應用　251

10.4.1　典型大模型　252

10.4.2　大模型應用案例　257

小結　262

思考題　263

參考文獻　264