數據分析通識

途索

就職於大型因特網公司，數據分析專家，從事多年數據科學相關的工作。
在消費級領域（C端）與企業級領域（B端）從事過數十個大數據與算法方面的工程與項目，曾多次得到公司的嘉獎和業內的肯定。

目 錄
第0章　技術與業務　1
0.1　一個場景　1
0.2　什麼是業務　2
0.3　技術與業務的分工　3
0.4　數據分析工作者的定位　4

第　1章 數據處理的抽象流程與數據系統的有機組成　6
1.1　數據與大數據　6
1.2　數據驅動的系統　7
1.3　數據處理的一般環節　8
1.4　數據的服務對象　9
1.5　與數據業務相關的技術分工　11

第　2章 數據獲取　15
2.1　獲取數據需要的成本　15
2.2　獲取數據的主要方式　15
2.2.1　設備採集　15
2.2.2　業務記錄與調查　16
2.2.3　日誌與埋點　16
2.2.4　爬蟲抓取　17
2.2.5　合作、服務與購買　18
2.2.6　數據倉庫　19
2.3　採樣數據的陷阱　20
2.4　本章涉及的技術實現方案　22
2.4.1　爬蟲抓取（Python版）　22
2.4.2　前端埋點SDK　23
2.4.3　日誌採集　23
2.4.4　數據倉庫　23

第3章　探索性數據分析與目的性數據分析　24
3.1　探索性數據分析　24
3.2　一份數據集　24
3.3　數據字段分類　25
3.4　遍歷每個字段　26
3.4.1　瞭解離散屬性　27
3.4.2　瞭解連續屬性　28
3.4.3　分佈與分箱　32
3.4.4　異常值與數據清洗　36
3.5　數據分析的本質　37
3.5.1　尋找用來比較的實體　39
3.5.2　拿什麼進行比較　42
3.5.3　怎樣進行比較　42
3.6　目的性數據分析　89
3.6.1　目的性數據分析的一般方法　90
3.6.2　目的性數據分析的意義　92
3.7　本章涉及的技術實現方案　93
3.7.1　數據分析軟件　93
3.7.2　SQL　96
3.7.3　Python　97
3.7.4　大數據分析解決方案　98

第4章　展示信息的推薦方式——可視化　100
4.1　數據可視化　100
4.2　常見的圖表類型與應用場景　101
4.2.1　趨勢型　101
4.2.2　比較型　104
4.2.3　比例型　106
4.2.4　分佈型　107
4.2.5　區間型　109
4.2.6　關聯型　109
4.2.7　地理型　112
4.3　數據可視化與數據分析　112
4.3.1　數據可視化與假設檢驗、分佈擬合　112
4.3.2　數據可視化與多維分析、鑽取分析、交叉分析　115
4.3.3　數據可視化與秩次分析　117
4.3.4　數據可視化與相關分析、回歸分析　119
4.3.5　數據可視化與分組歸類　121
4.3.6　數據可視化與目的性數據分析　122
4.4　可視化數據交互　122
4.4.1　交互式可視化的流程　124
4.4.2　常見的數據可視化交互組件　124
4.5　可視化設計　125
4.5.1　可視化設計的美學原則　125
4.5.2　可視化設計的高效原則　126
4.5.3　可視化交互的一些準則　129
4.6　可視化工程　129
4.6.1　確定主題　130
4.6.2　提煉數據　130
4.6.3　選擇合適的圖表　131
4.6.4　可視化設計　131
4.7　本章涉及的技術實現方案　131
4.7.1　Python　131
4.7.2　開源可視化API　132
4.7.3　商業化　132

第5章　特徵工程　133
5.1　變量、字段、屬性、維度和特徵　133
5.2　特徵工程的內涵　135
5.3　特徵獲取　136
5.3.1　獲取用於提取特徵的數據　136
5.3.2　特徵的可用性評估　137
5.3.3　從特徵獲取的角度清洗數據　137
5.4　特徵處理與提取　138
5.4.1　數據清洗　138
5.4.2　特徵選擇　138
5.4.3　特徵變換　143
5.4.4　特徵抽取　153
5.4.5　特徵衍生　156
5.5　特徵監控　161
5.5.1　監控已有特徵　161
5.5.2　尋找新的特徵　162
5.6　一個例子　163
5.6.1　有哪些數據　163
5.6.2　提取業務特徵　164
5.6.3　特徵處理　165
5.6.4　二次特徵衍生　165
5.6.5　二次特徵處理　165
5.6.6　建模與疊代　165
5.7　頭腦風暴　166
5.8　本章涉及的技術實現方案　167
5.8.1　Python　167
5.8.2　大數據平臺的特徵工程模塊　168
5.8.3　組件化的特徵工程　168

第6章　模型　169
6.1　模型的概念　169
6.2　業務模型、數據模型、函數模型　170
6.2.1　業務模型　170
6.2.2　數據模型　171
6.2.3　函數模型　173
6.2.4　其他“模型”與上述3種模型的關系　174
6.3　機器學習與統計建模的聯系與區別　175
6.4　函數模型與業務　176
6.4.1　數據、特徵工程與函數模型　177
6.4.2　監督學習、無監督學習、半監督學習與歸納偏置　177
6.4.3　交叉驗證與過擬合　182
6.5　常見的函數模型　185
6.5.1　數據的刻畫方式　185
6.5.2　分類與回歸　191
6.5.3　聚類　237
6.5.4　關聯　245
6.5.5　半監督學習　249
6.6　調參　253
6.6.1　調參調的是超參數　253
6.6.2　經驗調參　254
6.6.3　簡單模型　254
6.7　什麼樣的模型是好模型　255
6.7.1　模型選擇　255
6.7.2　可解釋性　256
6.7.3　奧卡姆剃刀原理　257
6.8　遷移學習與強化學習　259
6.8.1　遷移學習　259
6.8.2　強化學習　261
6.9　本章涉及的技術實現方案　263
6.9.1　Python　263
6.9.2　大數據　264

第7章　結果評價　265
7.1　分類模型的結果評價　265
7.1.1　正樣本與負樣本　265
7.1.2　混淆矩陣及其衍生指標　266
7.1.3　ROC與AUC　268
7.1.4　提升圖　271
7.1.5　KS曲線　271
7.1.6　過採樣與欠採樣　272
7.2　回歸模型的結果評價　273
7.2.1　基於絕對數值的結果評價　273
7.2.2　基於比例數值的結果評價　274
7.2.3　決定系數與校正決定系數　274
7.3　聚類模型的結果評價　275
7.3.1　方差　275
7.3.2　輪廓系數　275
7.3.3　蘭德系數　276
7.4　關聯模型的結果評價　276
7.5　本章涉及的技術實現方案　276

第8章　數據應用與人工智能　278
8.1　業務數據化與數據業務化　278
8.2　數據應用的常見產出形式　279
8.2.1　指標　279
8.2.2　表格　280
8.2.3　可視化圖表與交互　273
8.2.4　報告　280
8.2.5　模型　280
8.3　幾種典型的數據應用系統　280
8.3.1　離線挖掘任務流　280
8.3.2　實時預測與挖掘任務　281
8.3.3　推薦系統　281
8.3.4　搜索引擎　282
8.3.5　Feed流　283
8.4　數據應用系統的優勢與限制　283

第9章　未來的數據與數據的未來　285
9.1　數據融合與未來數據驅動系統的展望　285
9.1.1　數據化是一切的起點　285
9.1.2　融合是數據發揮能量的關鍵　286
9.1.3　計算還是太慢了　287
9.1.4　為什麼要數據化、融合、計算？　287
9.2　人工智能　288
9.2.1　人與人工智能　288
9.2.2　智能是個系統　289
9.2.3　智能域　290
後記——擁抱不確定的美好　291
參考文獻　295