大數據分析方法與實踐——基於Python語言

第一部分 數據分析基礎

第1 章 認識大數據   … … … … … 2

1 .1 大數據的分類   … … … … … 2

1 .2 大數據的量級   … … … … … 3

1 .3 大數據的計算   … … … … … 4

1 .3 .1 MapReduce 分布式計算模式  … … … … … … 4

1 .3 .2 數據流並行計算模式 … … … … … … … … … … 5

1 .3 .3 P2P 分布式計算模式 … … … … … … … … … … 5

1 .4 大數據的類型   … … … … … 5

1 .4.1 表格數據  … … … … 5

1 .4.2 有序數據  … … … … 7

1 .4.3 圖結構數據  … … … 7

1 .4.4 多媒體數據  … … … 8

1 .5 特征類型   … … … … … … … 9

1 .5 .1 根據度量級別分類  … … … … … … … … … … 10

1 .5 .2 根據取值範圍分類  … … … … … … … … … … 11

1 .6 數據的重要性  … … … … … 12

1 .7 練習  … … … … … … … … … 13

第2 章 大數據獲取   … … … … … … 15

2.1 網絡爬蟲   … … … … … 15

2.1 .1 網絡爬蟲的步驟   15

2.1 .2 網絡爬蟲的實現方法  … … … … … … … … … 15

2.1 .3 網絡爬蟲的實踐案例  … … … … … … … … … 22

2.2 獲取遙感器數據   … … 24

2.2.1 獲取遙感器數據的方法  … … … … … … … … 25

2.2.2 獲取遙感器數據的實踐案例  … … … … … … 25

2.3 獲取文件數據  … … … … … 26

2.3 .1 獲取 TXT 文件數據的方法  … … … … … … 27

2.3 .2 獲取 CSV 文件數據的方法 … … … … … … … 28

2.3 .3 獲取 Excel 文件數據的方法  … … … … … … 28

2.3 .4 獲取 HTML 文件數據的方法  … … … … … 29Ⅳ

2.3 .5 獲取JSON 文件數據的方法  … … … … … … 29

2.3 .6 獲取 PDF 文件數據的方法 … … … … … … … 30

2.3 .7 獲取數據庫文件數據的方法  … … … … … … 31

2.3 .8 文件大數據獲取的實踐案例  … … … … … … 32

2.4 練習  … … … … … … … … … 33

第3 章 數據倉庫   … … … … … … … 35

3 .1 關於數據倉庫   … … … 35

3 .1 .1 數據倉庫的特點   35

3 .1 .2 數據倉庫與數據庫  … … … … … … … … … … 36

3 .1 .3 數據倉庫與數據集市  … … … … … … … … … 37

3 .1 .4 數據倉庫與數據湖  … … … … … … … … … … 37

3 .2 數據倉庫的模型   … … 38

3 .2.1 數據倉庫中的表   38

3 .2.2 維度模型   … … … 38

3 .3 數據倉庫的數據流程   40

3 .4 數據倉庫的關鍵技術   41

3 .4.1 ETL 技術   … … … 41

3 .4.2 OLAP 技術   … … 41

3 .5 數據倉庫的實踐案例  … … 45

3 .6 練習  … … … … … … … … … 47

第4 章 數據處理   … … … … … … … 49

4.1 數據清洗   … … … … … 49

4.1 .1 處理缺失值   … … 49

4.1 .2 處理異常值   … … 54

4.1 .3 數據清洗的實踐案例  … … … … … … … … … 57

4.2 數據集成   … … … … … 58

4.2.1 實體識別   … … … 59

4.2.2 數據合並   … … … 59

4.2.3 冗余屬性識別   … 62

4.2.4 數據集成的實踐案例  … … … … … … … … … 65

4.3 數據變換   … … … … … 66

4.3 .1 連續特征離散化   66

4.3 .2 離散型特征編碼   68

4.3 .3 數據規範化   … 71

4.3 .4 函數變換   … … … 75

4.3 .5 特征構造   … … … 77

4.3 .6 數據變換的實踐案例  … … … … … … … … … 78Ⅴ

4.4 數據歸約   … … … … … 79

4.4.1 數值歸約   … … … 79

4.4.2 維度歸約   … … … 82

4.5 練習  … … … … … … … … … 92

第二部分 數據分析核心與拓展

第5 章 數據分析   … … … … … … … 96

5 .1 基本統計分析方法   … 96

5 .1 .1 集中趨勢度量   … 96

5 .1 .2 散布度度量   … … 99

5 .1 .3 基本統計分析的實踐案例 … … … … … … … 101

5 .2 多維數據可視化分析   103

5 .2.1 一維數據可視化  103

5 .2.2 二維數據可視化  106

5 .2.3 三維數據可視化  111

5 .2.4 四維數據可視化  115

5 .2.5 五維數據可視化  117

5 .2.6 六維數據可視化  119

5 .2.7 多維數據可視化的實踐案例 … … … … … … 121

5 .3 相關性分析方法   … … 135

5 .3 .1 統計學基礎  … … 135

5 .3 .2 可視化線性相關  137

5 .3 .3 皮爾遜相關系數  137

5 .3 .4 斯皮爾曼相關系數 … … … … … … … … … … 138

5 .3 .5 相關性分析的實現方法 … … … … … … … … 139

5 .3 .6 相關性分析的實踐案例 … … … … … … … … 141

5 .4 鄰近性分析   … … … … 142

5 .4.1 鄰近性的度量基礎 … … … … … … … … … … 142

5 .4.2 二元特征的鄰近性度量 … … … … … … … … 143

5 .4.3 標稱特征的鄰近性度量 … … … … … … … … 146

5 .4.4 序數特征的鄰近性度量 … … … … … … … … 146

5 .4.5 數值特征的鄰近性度量 … … … … … … … … 146

5 .4.6 鄰近性度量的實踐案例 … … … … … … … … 149

5 .5 練習   … … … … … … … … 151

第6 章 因果分析  … … … … … … … 155

6 .1 因果分析概述   … … … 155

6 .2 格蘭傑因果檢驗   … … … 156

6 .2.1 穩定時間序列  … 156

6 .2.2 格蘭傑因果檢驗的原理 … … … … … … … … 158Ⅵ

6 .2.3 格蘭傑因果檢驗的步驟 … … … … … … … … 159

6 .2.4 格蘭傑因果檢驗的實現方法 … … … … … … 160

6 .2.5 格蘭傑因果檢驗的實踐案例 … … … … … … 162

6 .3 結構因果模型   … … … 164

6 .3 .1 結構因果模型的原理 … … … … … … … … … 164

6 .3 .2 結構因果模型的實現方法 … … … … … … … 164

6 .3 .3 結構因果模型的實踐案例 … … … … … … … 165

6 .4 基於雙重機器學習的因果推斷  … … … … … … … … 167

6 .4.1 雙重機器學習的原理 … … … … … … … … … 167

6 .4.2 雙重機器學習的實現方法 … … … … … … … 167

6 .4.3 雙重機器學習的實踐案例 … … … … … … … 168

6 .5 練習   … … … … … … … … 170

第7 章 文本大數據分析  … … … … 172

7.1 文本處理方法   … … … 172

7.1 .1 文本去重   … 172

7.1 .2 去無用詞   … 172

7.1 .3 文本分詞  … … … 173

7.1 .4 去停用詞  … … … 175

7.2 文本分析方法   … … … 175

7.2.1 文本可視化  … … 175

7.2.2 文本情感分析  … 176

7.2.3 詞頻-逆文檔頻度  … … … … … … … … … … 177

7.2.4 文本相似度量  … 178

7.3 文本主題建模   … … … 180

7.3 .1 LDA 主題建模的原理  … … … … … … … … 180

7.3 .2 LDA 主題建模的實現方法  … … … … … … 181

7.4 文本分析實踐案例   … … 182

7.4.1 文本處理的實踐案例 … … … … … … … … … 183

7.4.2 文本可視化的實踐案例 … … … … … … … … 184

7.4.3 文本情感分析的實踐案例 … … … … … … … 185

7.4.4 TF-IDF 與余弦相似度的實踐案例  … … … 188

7.4.5 LDA 主題建模的實踐案例  … … … … … … 189

7.5 練習   … … … … … … … … 190

參考文獻   192