數據科學與大數據技術導論 数据科学与大数据技术导论

本書概要介紹瞭如何使用Hadoop和Spark處理數據科學涉及的一系列主題：

數據提取、數據再加工（datamunging，通常包含數據清洗和整合）、特徵提取、機器學習、預測建模、異常檢測和自然語言處理。

整書側重於具體的例子，並通過不同方式來提供對商業價值的洞察，

全書共分三部分，

第一部分包括第1、2、3章，

第二部分包括第4、5、6章，

第三部分包括第7、8、9、10、11、12章，後在附錄中提供了本書參考材料。

第一部分Hadoop中的數據科學概覽

第1章數據科學概述2
1.1 數據科學究竟是什麼2
1.2 示例：搜索廣告3
1.3 數據科學史一瞥4
1.3.1 統計學與機器學習4
1.3.2 互聯網巨頭的創新5
1.3.3 現代企業中的數據科學6
1.4 數據科學家的成長之路6
1.4.1 數據工程師7
1.4.2 應用科學家7
1.4.3 過渡到數據科學家角色8
1.4.4 數據科學家的軟技能9
1.5 數據科學團隊的組建10
1.6 數據科學項目的生命週期11
1.6.1 問正確的問題11
1.6.2 數據攝取12
1.6.3 數據清洗：注重數據質量12
1.6.4 探索數據和設計模型特徵13
1.6.5 構建和調整模型13
1.6.6 部署到生產環境14
1.7 數據科學項目的管理14
1.8 小結15

第2章數據科學用例16
2.1 大數據—變革的驅動力16
2.1.1 容量：更多可用數據17
2.1.2 多樣性：更多數據類型17
2.1.3 速度：快速數據攝取18
2.2 商業用例18
2.2.1 產品推薦18
2.2.2 客戶流失分析19
2.2.3 客戶細分19
2.2.4 銷售線索的優先級20
2.2.5 情感分析20
2.2.6 欺詐檢測21
2.2.7 預測維護22
2.2.8 購物籃分析22
2.2.9 預測醫學診斷23
2.2.10 預測患者再入院23
2.2.11 檢測異常訪問24
2.2.12 保險風險分析24
2.2.13 預測油氣井生產水平24
2.3 小結25

第3章Hadoop與數據科學26
3.1 Hadoop 究竟為何物26
3.1.1 分佈式文件系統27
3.1.2 資源管理器和調度程序28
3.1.3 分佈式數據處理框架29
3.2 Hadoop的演進歷史31
3.3 數據科學的Hadoop工具32
3.3.1 Apache Sqoop33
3.3.2 Apache Flume33
3.3.3 Apache Hive34
3.3.4 Apache Pig35
3.3.5 Apache Spark36
3.3.6 R37
3.3.7 Python38
3.3.8 Java機器學習軟件包39
3.4 Hadoop為何對數據科學家有用39
3.4.1 成本有效的存儲39
3.4.2 讀取模式40
3.4.3 非結構化和半結構化數據40
3.4.4 多語言工具41
3.4.5 強大的調度和資源管理功能41
3.4.6 分佈式系統抽象分層42
3.4.7 可擴展的模型創建42
3.4.8 模型的可擴展應用43
3.5 小結43

第二部分用Hadoop準備和可視化數據
第4章將數據導入Hadoop46
4.1 Hadoop數據湖46
4.2 Hadoop分佈式文件系統47
4.3 直接傳輸文件到HDFS48
4.4 將數據從文件導入Hive表49
4.5 使用Spark將數據導入Hive表52
4.5.1 使用Spark將CSV文件導入Hive52
4.5.2 使用Spark將JSON文件導入Hive54
4.6 使用Apache Sqoop獲取關係數據55
4.6.1 使用Sqoop導入和導出數據55
4.6.2 Apache Sqoop版本更改56
4.6.3 使用Sqoop版本2：基本示例57
4.7 使用Apache Flume獲取數據流63
4.8 使用Apache Oozie管理Hadoop工作和數據流67
4.9 Apache Falcon68
4.10 數據攝取的下一步是什麼69
4.11 小結70

第5章使用Hadoop 進行數據再加工71
5.1 為什麼選擇Hadoop做數據再加工72
5.2 數據質量72
5.2.1 什麼是數據質量72
5.2.2 處理數據質量問題73
5.2.3 使用Hadoop進行數據質量控制76
5.3 特徵矩陣78
5.3.1 選擇“正確”的特徵78
5.3.2 抽樣：選擇實例79
5.3.3 生成特徵80
5.3.4 文本特徵81
5.3.5 時間序列特徵84
5.3.6 來自複雜數據類型的特徵84
5.3.7 特徵操作85
5.3.8 降維86
5.4 小結88

第6章探索和可視化數據89
6.1 為什麼要可視化數據89
6.1.1 示例：可視化網絡吞吐量89
6.1.2 想像未曾發生的突破92
6.2 創建可視化93
6.2.1 對比圖94
6.2.2 組成圖96
6.2.3 分佈圖98
6.2.4 關係圖99
6.3 針對數據科學使用可視化101
6.4 流行的可視化工具101
6.4.1 R101
6.4.2 Python：Matplotlib、Seaborn和其他102
6.4.3 SAS102
6.4.4 Matlab103
6.4.5 Julia103
6.4.6 其他可視化工具103
6.5 使用Hadoop可視化大數據103
6.6 小結104

第三部分使用Hadoop進行數據建模
第7章Hadoop與機器學習106
7.1 機器學習概述106
7.2 術語107
7.3 機器學習中的任務類型107
7.4 大數據和機器學習108
7.5 機器學習工具109
7.6 機器學習和人工智能的未來110
7.7 小結110

第8章預測建模111
8.1 預測建模概述111
8.2 分類與回歸112
8.3 評估預測模型113
8.3.1 評估分類器114
8.3.2 評估回歸模型116
8.3.3 交叉驗證117
8.4 有監督學習算法117
8.5 構建大數據預測模型的解決方案118
8.5.1 模型訓練118
8.5.2 批量預測120
8.5.3 實時預測120
8.6 示例：情感分析121
8.6.1 推文數據集121
8.6.2 數據準備122
8.6.3 特徵生成122
8.6.4 建立一個分類器125
8.7 小結126

第9章聚類127
9.1 聚類概述127
9.2 聚類的使用128
9.3 設計相似性度量128
9.3.1 距離函數129
9.3.2 相似函數129
9.4 聚類算法130
9.5 示例：聚類算法131
9.5.1 k均值聚類131
9.5.2 LDA131
9.6 評估聚類和選擇集群數量132
9.7 構建大數據集群解決方案133
9.8 示例：使用LDA進行主題建模134
9.8.1 特徵生成135
9.8.2 運行LDA136
9.9 小結137

第10章Hadoop異常檢測139
10.1 概述139
10.2 異常檢測的使用140
10.3 數據中的異常類型140
10.4 異常檢測的方法141
10.4.1 基於規則方法141
10.4.2 有監督學習方法141
10.4.3 無監督學習方法142
10.4.4 半監督學習方法143
10.5 調整異常檢測系統143
10.6 使用Hadoop構建大數據異常檢測解決方案144
10.7 示例：檢測網絡入侵145
10.7.1 數據攝取147
10.7.2 建立一個分類器148
10.7.3 性能評估150
10.8 小結151

第11章自然語言處理152
11.1 自然語言處理概述152
11.1.1 歷史方法153
11.1.2 NLP用例153
11.1.3 文本分割153
11.1.4 詞性標註154
11.1.5 命名實體識別154
11.1.6 情感分析154
11.1.7 主題建模155
11.2 Hadoop中用於NLP的工具155
11.2.1 小模型NLP155
11.2.2 大模型NLP156
11.3 文本表示157
11.3.1 詞袋模型157
11.3.2 Word2vec158
11.4 情感分析示例158
11.4.1 Stanford CoreNLP159
11.4.2 用Spark進行情感分析159
11.5 小結162

第12章數據科學與Hadoop——下一個前沿163
12.1 自動數據發現163
12.2 深度學習164
12.3 小結167
附錄A 本書網站和代碼下載168
附錄B HDFS快速入門169
附錄C 數據科學、Apache Hadoop和Spark的補充背景知識175