Python數據分析與數據化運營（微課版）

宋天龍(TonySong)，大數據技術專家，觸脈咨詢合夥人兼副總裁，前Webtrekk中國區技術和咨詢負責人（Webtrekk，德國的在線數據分析服務提供商）。擅長數據挖掘、建模、分析與運營，精通端到端數據價值場景設計、業務需求轉換、數據結構梳理、數據建模與學習以及數據工程交付。在電子商務、零售、銀行、保險等多個行業擁有豐富的數據項目工作經驗，參與過集團和企業級數據體系規劃、DMP與數據倉庫建設、大數據產品開發、網站流量系統建設、個性化智能推薦與精準營銷、企業大數據智能等。參與實施客戶案例包括聯合利華、Webpower、德國OTTO集團電子商務（中國）、Esprit中國、豬八戒網、順豐優選、樂視商城、泰康人壽、酒仙網、國美在線、迪信通等。 著有多部暢銷書： 《Python數據分析與數據化運營》 《網站數據挖掘與分析：系統方法與商業實踐》 《企業大數據系統構建實戰：技術、架構、實施與應用》

目錄

第 1章 Python入門指南 14

1.1 Python與數據分析 14

1.1.1 Python的基本概念 14

1.1.2 Python在數據分析中的作用 15

1.1.3 使用Anaconda輕松安裝Python環境 16

1.1.4 使用pip管理第三方庫 18

1.2 Python數據分析工具 19

1.2.1 數據分析的得力助手：Pandas、NumPy、Matplotlib 19

1.2.2 統計分析與建模工具：scikit-learn、Statsmodels 20

1.2.3 文本處理與分析的利器：jieba分詞、Gensim 21

1.2.4 走進深度學習與人工智能：Tensorflow、pytorch 21

1.2.5 新潮的數據分析方法：基於大語言模型的分析——ChatGPT、Auto-GPT、pandas-ai 22

1.3 互動學習環境：Jupyter Notebook 25

1.3.1 啟動Jupyter 25

1.3.2 Jupyter的功能介紹 26

1.3.3 Jupyter的常用操作技巧 27

1.3.4 Jupyter的特殊命令 29

1.3.5 個性化配置Jupyter 30

1.4 首次嘗試：編寫並運行第 一個的Python程序 32

素養課堂：科技強國戰略下的與時俱進 33

任務實訓：展示你的個性——打印出自己的名字 34

思考與練習 34

第 2章 Python基本語法 36

2.1 Python基礎 36

2.1.1 Python解釋器的作用 37

2.1.2 聲明編碼：設置文件字符編碼 37

2.1.3 縮進與執行域：代碼結構的重要性 37

2.1.4 優雅換行：處理長語句的技巧 37

2.1.5 註釋的力量：單行和多行註釋的應用 38

2.1.6 命名與賦值：變量規則和賦值方法 38

2.2數據類型 39

2.2.1 數字型數據：整數型、浮點型、布爾型和復數型 39

2.2.2 字符串型數據：文本處理基礎 39

2.2.3 日期型數據：時間的表示與操作 40

2.2.4 數據類型的多樣性：判斷與轉換技巧 41

2.3 數據結構 43

2.3.1 列表：有序數據的集合與推導式 43

2.3.2 元組：不可變的數據集合與推導式 46

2.3.3 字典：鍵值對的映射與推導式 47

2.3.4 集合：獨特元素的集合與推導式 49

2.3.5 數據結構的轉換與判斷 51

2.4 條件與判斷 52

2.4.1 單層條件判斷：if語句的應用 52

2.4.2 嵌套條件判斷：多層if語句的構建 52

2.4.3 邏輯操作：and、or的靈活運用 53

2.4.4 多條件比較：鏈式比較、all和any的技巧 53

2.4.5 條件的賦值：基於條件表達式的變量更新 54

2.5 循環與控制流程 54

2.5.1 for循環與條件表達式的搭配 54

2.5.2 while循環與條件的判斷 54

2.5.3 循環嵌套：處理復雜問題 55

2.5.4 無限循環：正確使用與避免死循環 55

2.5.5 控制循環：break和continue的使用 55

2.6 運算符 56

2.6.1 算術運算符：數字計算的基礎 56

2.6.2 賦值運算符：簡化變量賦值 57

2.6.3 比較運算符：衡量數據大小 57

2.6.4 邏輯運算符：處理復雜判斷 57

2.6.5 成員與身份：檢驗元素存在性和對象身份 58

2.6.6 運算優先級：理解運算次序 58

2.7 文本處理與正則表達式 59

2.7.1 字符串格式化：控制信息輸出 59

2.7.2 字符串執行：動態生成與執行代碼 61

2.7.3 內置方法：處理字符串的常見操作 62

2.7.4 正則表達式：強大的模式匹配工具 66

2.8 功能的模塊化封裝 69

2.8.1 函數的威力：便於重用與可維護 69

2.8.2 匿名函數：簡潔的功能定義方式 71

2.8.3 類的構建：面向對象編程的基礎 72

2.9 高階函數 74

2.9.1 map：批量操作的高效工具 74

2.9.2 reduce：序列簡化的高效工具 75

2.9.3 filter：條件篩選的高效工具 75

2.10 靈活導入Python庫 76

2.10.1 導入標準庫與第三方庫 76

2.10.2 導入自定義代碼庫 77

2.10.3 導入庫並使用別名 78

2.10.4 合理安排導入順序 78

2.11 初探Pandas庫 79

2.11.1 創建數據對象 79

2.11.2 查看數據信息 79

2.11.3 數據切片和切塊 81

2.11.4 數據篩選和過濾 81

2.11.5 數據預處理操作 82

2.11.6 數據合並和匹配 83

2.11.7 數據分類匯總 84

2.11.8 高級函數使用 84

素養課堂：提升個人技能促進國家整體競爭力提升 85

任務實訓：玩轉列表元素，挑戰多樣邏輯處理 86

思考與練習 87

第3章 數據管理與讀寫 88

3.1 管理文件與目錄 89

3.1.1 獲取目錄信息：了解存放數據的地方 89

3.1.2 基本目錄操作：操作數據存儲的技巧 90

3.1.3 路徑與目錄處理：路徑解析與組合 92

3.1.4 判斷目錄是否存在：確認數據位置的方式 93

3.1.5 遍歷目錄：逐一查看數據 93

3.1.6 基本文件操作：數據存儲的基礎操作 95

3.2 數據文件的讀寫 97

3.2.1 處理普通文本文件：打開、寫入與讀取數據文件 97

3.2.2 處理平面數據文件：csv、txt、tsv等格式數據文件的讀寫 100

3.2.3 讀寫Excel文件：電子表格中的讀寫 104

3.2.4 讀寫JSON文件：輕量級數據交換格式的讀寫 108

3.2.5 讀寫統計軟件文件：SPSS、SAS、Stata數據文件的讀寫 110

3.2.6 讀寫R數據文件：R數據文件的讀寫 114

3.3 Python操作數據庫 116

3.3.1 使用關系型數據庫：SQLite的讀寫操作 116

3.3.2 探索NoSQL數據庫：MongoDB的讀寫實踐 118

素養課堂：從數據安全到國家信息安全 120

任務實訓：靈活使用多種條件提取數據庫數據 121

思考與練習 122

第4章 數據探索和預處理 124

4.1 初步了解數據 124

4.1.1 數據總覽 124

4.1.2 數據類型 125

4.1.3 數據分布 126

4.2 解決數據缺失 128

4.2.1 尋找缺失數據記錄 128

4.2.2 識別缺失數據列 128

4.2.3 缺失數據處理方法 129

4.3 處理異常數據 131

4.3.1 根據經驗判斷異常值 131

4.3.2 基於平均值和標準差的異常值檢測 131

4.3.3 利用分位數檢測異常值 132

4.4 去除重復數據 133

4.4.1 識別重復數據 133

4.4.2 消除重復數據 134

4.5 數據抽樣 134

4.5.1 隨機數據抽樣 134

4.5.2 分層數據抽樣 134

4.6 調整數據格式和值 135

4.6.1 將文本日期轉換為日期格式 135

4.6.2 提取日期和時間信息 136

4.6.3 獲取日期和時間屬性 136

4.7 數據處理與轉換 138

4.7.1 最大-最小縮放方法 138

4.7.2 基於分位數的數據離散化 139

4.7.3 使用獨熱編碼進行數據轉換 139

素養課堂：培養合理使用數字技術的能力 140

任務實訓：綜合性數據預處理實踐 141

思考與練習 142

第5章 數據可視化 144

5.1 數據可視化簡介 144

5.1.1 常用數據可視化工具 144

5.1.2 選擇適合情況的數據可視化方法 145

5.2 基礎數據可視化 145

5.2.1 利用條形圖和柱形圖展示數據差異 147

5.2.2 使用折線圖和柱狀圖描繪趨勢變化 150

5.2.3 用餅圖和面積圖展示部分與整體的關系 152

5.2.4 使用散點圖或蜂窩圖顯示數據之間的聯系 155

5.3 高階數據可視化 157

5.3.1 使用成對關系圖同時顯示多組數據關系 157

5.3.2 利用帶回歸擬合線的散點圖呈現回歸擬合 159

5.3.3 使用熱力圖揭示相關關系 159

5.3.4 以日歷圖展示銷售隨時間變化情況 160

5.3.5 利用箱型圖和散點圖觀察數據分布 161

5.3.6 使用分類柱狀圖展示多維度細分值分布 163

5.3.7 用等高線圖顯示核密度分布 164

5.3.8 利用坡度圖突顯數據變化差異 165

5.3.9 使用漏鬥圖展示轉化環節進展 166

5.3.10 利用關系圖展示元素間關聯 168

5.3.11 使用雷達圖表現不同屬性上多元素差異 170

5.3.12 用詞雲展示關鍵字分布 172

素養課堂：基於先進生產力工具的智慧洞察 174

任務實訓：綜合性數據可視化項目實踐 174

思考與練習 175

第6章 簡明數據統計分析 177

6.1 描述性統計分析 177

6.1.1 數據概述：了解數據的基本信息 179

6.1.2 數據中心趨勢：探討數據的集中趨勢 179

6.1.3 數據分散趨勢：研究數據的離散程度 181

6.2 數據交叉對比和趨勢分析 182

6.2.1 比較不同組別數據：發現不同組別之間的差異 183

6.2.2 觀察數據變化趨勢：分析數據隨時間的變化 185

6.3 數據結構與貢獻分析 188

6.3.1 百分比分析：計算不同部分占整體的比例 188

6.3.2 二八法則：重點關註少數關鍵對象的影響 189

6.3.3 ABC分析：將數據按重要性分為不同等級 191

6.3.4 長尾分析：探討不常見數據的影響 192

6.4 數據分組與聚合分析 194

6.4.1 使用分位數分析數據：將數據分成若幹組並觀察 194

6.4.2 基於平均值和標準差分析：以均值和變化程度為依據研究數據 195

6.4.3 RFM分析：根據消費行為將數據分成不同組別 196

6.5 數據相關性分析 199

6.5.1 Pearson相關性：分析兩個變量之間的線性關系 199

6.5.2 Spearman相關性：探討變量之間的排序關系 200

6.5.3 Kendall相關性：研究變量之間的等級關系 200

6.6 主成分分析和因子分析 201

6.6.1 主成分分析：簡化數據，找出主要影響因素 202

6.6.2 因子分析：發現隱藏在數據背後的潛在因素 203

6.7 數據分析方法應用 204

6.7.1 漏鬥分析：觀察數據流程中的流失點 205

6.7.2 路徑分析：研究因果關系路徑 205

6.7.3 歸因分析：確定影響特定結果的因素 205

素養課堂：跳出常規思維束縛、打破前人經驗壁壘 207

任務實訓：基本數據統計分析思維訓練 208

思考與練習 209

第7章 數據建模與文本分析進階 210

7.1線性回歸 211

7.1.1 線性回歸的基本概念和原理 211

7.1.2 線性回歸的特點和適用場景 212

7.1.3 線性回歸的實施步驟和關鍵要點 212

7.1.4 線性回歸模型的效果評估 215

7.2邏輯回歸 216

7.2.1 邏輯回歸的基本概念和原理 216

7.2.2 邏輯回歸與線性回歸的聯系與區別 216

7.2.3 邏輯回歸的特點和適用場景 217

7.2.4 創建邏輯回歸模型的步驟和要點 217

7.2.5 邏輯回歸模型的效果評估 220

7.3 KMeans聚類 221

7.3.1 KMeans聚類的基本概念和原理 221

7.3.2聚類與分類的聯系和區別 221

7.3.3 KMeans聚類的應用領域和優勢 222

7.3.4 KMeans聚類模型的實施流程 222

7.3.5 如何選擇合適的Kmeans聚類數量 225

7.3.6 KMeans模型的效果評估 226

7.4中文分詞與關鍵字提取 226

7.4.1 中文分詞的基本概念 226

7.4.2 中文分詞在不同領域的應用 227

7.4.3 中文分詞方法：基於詞典和基於統計 227

7.4.4 關鍵詞提取的作用和應用場景 228

7.4.5 使用TF提取關鍵字 228

素養課堂：營造激發創新的環境與價值觀 230

任務實訓：預測用戶是否會產生訂單 231

思考與練習 233

第8章 數據分析應用與部署 234

8.1 整合數據：批量合並數據文件 235

8.1.1 應用背景 235

8.1.2 工作需求 235

8.1.3 實現過程 235

8.2 數據萃取：從數據庫提取數據生成結果 240

8.2.1 應用背景 240

8.2.2 工作需求 240

8.2.3 實現過程 240

8.3 通用信息傳遞：附帶數據文件發送E-mail 243

8.3.1 應用背景 243

8.3.2 工作需求 243

8.3.3 實現過程 244

8.4 富媒體溝通：發送帶HTML樣式的郵件 251

8.4.1 應用背景 251

8.4.2 工作需求 251

8.4.3 實現過程 251

8.5 自動化任務：Python腳本與數據任務 254

8.5.1 應用背景 254

8.5.2 工作需求 254

8.5.3 實現過程 255

素養課堂：數字化創新引領企業工作方式的科技變革 261

任務實訓：數據提取、處理和發送郵件自動化 261

思考與練習 263

第9章 數據分析與數據化運營策略 264

9.1 數據報告多維矩陣 265

9.1.1 臨時洞察：臨時數據分析 265

9.1.2 實時跟蹤：實時數據分析 265

9.1.3 日常洞察：常規數據報告 266

9.1.4 專題解析：特定主題數據分析 266

9.1.5 項目評估：項目進度與效果分析 267

9.2 分析指標多元矩陣 267

9.2.1 會員視角：會員運營指標 267

9.2.2 商品視角：商品運營指標 268

9.2.3 廣告視角：廣告效果指標 269

9.2.4 網站視角：網站運營指標 269

9.3 探索多維度分析矩陣 270

9.3.1 目標端：業務訴求與目標的角度 270

9.3.2 媒體端：站外投放媒體的角度 270

9.3.3 用戶端：用戶屬性與喜好的角度 271

9.3.4 網站端：數字站點體驗與功能設計的角度 271

9.3.5 競爭端：市場競爭對手的角度 272

9.4 應用場景多維透視 272

9.4.1 預測效果：基於數據的業務效果預測 272

9.4.2 結論定性：從數據中得出關鍵業務結論 273

9.4.3 規律探究：挖掘數據中的潛在信息與規律 273

9.4.4 規則提煉：以落地為導向的應用規則提煉 274

素養課堂：從學術研究到商業應用的技術轉變之路 274

任務實訓：針對企業級活動的數據分析與支持 275

思考與練習 276