數據預處理從入門到實戰 基於 SQL、R、Python

本橋智光（作者）
先後在系統開發公司擔任研究員，在因特網企業擔任數據科學家，目前在數字醫療初創公司SUSMED株式會社擔任CTO，同時就職於HOXO-M株式會社，並以自由職業者的身份從事量子退火計算機的驗證工作，擁有製造業、零售業、金融業、運輸業、休閒業和因特網等多個行業的數據分析經驗。
曾在KDD CUP 2015中贏得亞軍。
愛好是開發馬裏奧AI。
Twitter：@tomomoto_LV3

陳濤（譯者）
運籌學碩士畢業，主要從事數據庫、數據分析工作，對機器學習、深度學習領域相關的理論和技術較為熟悉。
因興趣自學日語，一直致力於追求興趣和工作的完美結合。
郵箱：victory123_456@163.com

第 1部分　預處理入門 1
第　1章 什麼是預處理　2
1-1　數據　2
記錄數據　2
數據類型　3
1-2　預處理的作用　3
機器學習　4
無監督學習和有監督學習　4
用於數據分析的3種預處理　5
1-3　預處理的流程　6
對數據結構的預處理　7
對數據內容的預處理　7
預處理的步驟　7
1-4　3種編程語言　9
正確使用編程語言　9
1-5　包和庫　10
用於數據分析的包和庫　10
1-6　數據集　11
酒店預訂記錄　12
工廠產品記錄　13
月度指標記錄　14
文本數據集　14
1-7　讀取數據　14

第　2部分 對數據結構的預處理　19
第　2章 數據提取　20
2-1　提取指定的列　20
Q　提取列　21
2-2　按指定條件提取　26
Q　按條件提取數據行　28
Q　間接利用索引提取數據行　33
2-3　不基於數據值的採樣　35
Q　隨機採樣　35
2-4　基於聚合ID的採樣　38
Q　按ID採樣　39

第3章　數據聚合　43
3-1　計算數據條數和類型數　43
Q　計數和唯一值計數　44
3-2　計算合計值　48
Q　合計值　48
3-3　計算最值、代表值　50
Q　代表值　51
3-4　計算離散程度　54
Q　方差和標準差　54
3-5　計算眾數　57
Q　眾數　58
3-6　排序　61
排序函數　61
Q　為時序數據添加編號　62
Q　排序　66

第4章　數據連接　69
4-1　主表的連接　69
Q　主表的連接　70
4-2　切換按條件連接的表　77
Q　切換按條件連接的主表　77
4-3　連接歷史數據　84
Q　獲取往前數第n條記錄的數據　85
Q　前n條記錄的合計值　88
Q　前n條記錄的平均值　92
Q　過去n天的合計值　95
4-4　交叉連接　99
Q　交叉連接處理　99

第5章　數據拆分　105
5-1　記錄數據中模型驗證數據的拆分　105
Q　交叉驗證　107
5-2　時序數據中模型驗證數據的拆分　111
Q　準備時序數據中的訓練數據和驗證數據　113

第6章　數據生成　117
6-1　通過欠採樣調整不平衡數據　118
6-2　通過過採樣調整不平衡數據　119
Q　過採樣　120

第7章　數據擴展　124
7-1　轉換為橫向顯示　124
Q　轉換為橫向顯示　125
7-2　轉換為稀疏矩陣　128
Q　稀疏矩陣　128

第3部分　對數據內容的預處理　131
第8章　數值型　132
8-1　轉換為數值型　132
Q　各種數據類型的轉換　132
8-2　通過對數化實現非線性變換　135
Q　對數化　137
8-3　通過分類化實現非線性變換　139
Q　數值型的分類化　140
8-4　歸一化　142
Q　歸一化　143
8-5　刪除異常值　146
Q　根據標準差刪除異常值　146
8-6　用主成分分析實現降維　148
Q　用主成分分析實現降維　149
8-7　數值填充　152
Q　刪除缺失記錄　153
Q　用常數填充　155
Q　均值填充　157
Q　用PMM實現多重插補　160

第9章　分類型　164
9-1　轉換為分類型　164
Q　分類型的轉換　165
9-2　啞變量化　168
Q　啞變量化　169
9-3　分類值的聚合　171
Q　分類值的聚合　172
9-4　分類值的組合　175
Q　分類值的組合　175
9-5　分類型的數值化　177
Q　分類型的數值化　178
9-6　分類型的填充　181
Q　用KNN填充　182

第　10章 日期時間型　185
10-1　轉換為日期時間型、日期型　185
Q　日期時間型、日期型的轉換　185
10-2　轉換為年、月、日、時、分、秒、星期　189
Q　獲取各日期時間元素　190
10-3　轉換為日期時間差　194
Q　計算日期時間差　195
10-4　日期時間型的增減　200
Q　日期時間的增減處理　200
10-5　轉換為季節　203
Q　轉換為季節　204
10-6　轉換為時間段　208
10-7　轉換為工作日、休息日　209
Q　添加休息日標誌　209

第　11章 字符型　212
11-1　通過形態分析進行分解　213
Q　提取名詞和動詞　213
11-2　轉換為單詞的集合數據　215
Q　創建詞袋　216
11-3　用TF-IDF調整單詞權重　220
Q　創建使用TF-IDF的詞袋　221

第　12章 位置信息型　224
12-1　從日本坐標係到世界坐標系的轉換以及從度、分、秒到度的轉換　224
Q　從日本坐標系轉換為世界坐標系　224
12-2　兩點間距離、方向的計算　228
Q　計算距離　228

第4部分　預處理實戰　233
第　13章 實戰練習　234
13-1　聚合分析的預處理　234
Q　聚合分析的準備工作　234
13-2　用於推薦的預處理　238
Q　生成推薦矩陣　238
13-3　預測建模的預處理　243
Q　用於預測建模的預處理　243

結語　254
參考文獻　255