人工智能與商業數據挖掘——思維、方法與案例

第1篇　思維篇
第1章　人工智能、機器學習與數據挖掘概論 2
1.1　人工智能概論 4
1.1.1　人工智能的定義 4
1.1.2　人工智能的特點 5
1.1.3　人工智能的發展歷史 7
1.1.4　人工智能的類型 10
1.1.5　人工智能的前沿發展 11
1.1.6　人工智能的倫理問題 13
1.2　機器學習概論 16
1.2.1　開發機器智能的策略 16
1.2.2　機器學習 17
1.2.3　知識圖譜 18
1.3　數據挖掘概論 21
1.3.1　數據挖掘的定義 21
1.3.2　數據挖掘技術 21
1.4　三者之間的關系辨析 22
1.4.1　人工智能與機器學習的關系 22
1.4.2　機器學習與數據挖掘的關系 23
1.4.3　三者之間的融合 23
第2章　數據與數據的價值 25
2.1　無處不在的數據 27
2.1.1　數據爆發的原因 27
2.1.2　數據的模態與類型 32
2.2　數據的價值 35
2.2.1　數據金字塔 35
2.2.2　數據價值的演進 35
2.2.3　數據商業價值的實現方式 36
2.3　警惕“數據至上主義” 38
2.3.1　數據的局限性 39
2.3.2　數據利用的倫理問題 39
2.3.3　數據隱私與安全保護 40
2.3.4　人與數據的關系 41
第3章　數據思維與商業應用 43
3.1　思維範式 45
3.1.1　數據思維 45
3.1.2　模型思維 47
3.2　商業需求與決策 47
3.2.1　認識現實，理解現狀是什麼 47
3.2.2　識別模式，按照規律做決策 48
3.2.3　厘清關系，根據因果做決策 48
3.2.4　預測未來，通過預判來決策 49
3.3　驅動商業決策的技術體系 49
3.3.1　描述性分析 50
3.3.2　預測性分析 50
3.3.3　規範性分析 51
3.3.4　商業需求決定數據分析技術選擇 52
第4章　業務引領的商業數據挖掘過程 54
4.1　商業數據挖掘過程中的數據思維 56
4.2　步驟1：設置靶子，明確所要解決的業務問題 57
4.2.1　分析業務存在的問題 57
4.2.2　確定數據分析的目標 58
4.3　步驟2：分解問題，構建問題對應的業務指標體系 59
4.3.1　分解問題的重要性 59
4.3.2　構建業務指標體系 59
4.4　步驟3：準備數據，收集和理解問題所需的數據 61
4.4.1　數據收集 61
4.4.2　數據清洗 61
4.4.3　數據標簽體系 62
4.5　步驟4：分析數據，找到業務問題的數據答案 62
4.5.1　選擇數據分析技術的“原則” 62
4.5.2　使用機器學習找到答案 63
4.6　步驟5：回到業務，確定分析結果的商業解釋 64
4.6.1　將分析結果轉化為業務洞察 64
4.6.2　將業務洞察轉化為商業行動 64
4.7　步驟6：呈現結果，基於數據分析過程形成商業數據分析報告 65
4.7.1　商業數據分析報告的結構 65
4.7.2　優秀商業數據分析報告的要點 65
第2篇　技術篇
第5章　聚類分析 68
5.1　聚類分析的商業應用場景 70
5.1.1　聚類分析的基礎知識 70
5.1.2　聚類分析在商業領域的應用 70
5.2　K-means算法 71
5.2.1　算法簡介 71
5.2.2　計算步驟 72
5.2.3　K值選擇 73
5.2.4　算法優缺點 75
5.3　K-modes算法 76
5.3.1　算法簡介 76
5.3.2　計算步驟 76
5.3.3　K值選擇 76
5.3.4　算法優缺點 76
5.4　K-prototypes算法 77
5.4.1　算法簡介 77
5.4.2　計算步驟 77
5.4.3　K值選擇 77
5.4.4　算法優缺點 77
5.5　層次聚類算法 78
5.5.1　算法簡介 78
5.5.2　計算步驟 78
5.5.3　K值選擇 78
5.5.4　算法優缺點 80
5.6　聚類分析的Python實現方式 80
5.6.1　K-means算法 80
5.6.2　K-modes算法 81
5.6.3　K-prototypes算法 81
5.6.4　層次聚類算法 82
第6章　分類分析 84
6.1　分類分析的商業應用場景 86
6.1.1　分類分析的基礎知識 86
6.1.2　分類分析在商業領域的應用 87
6.2　KNN算法 89
6.2.1　算法簡介 89
6.2.2　計算步驟 89
6.2.3　算法優缺點 90
6.3　決策樹算法 90
6.3.1　算法簡介 90
6.3.2　計算步驟 91
6.3.3　算法優缺點 93
6.4　支持向量機算法 94
6.4.1　算法簡介 94
6.4.2　計算步驟 95
6.4.3　算法優缺點 95
6.5　分類準確率的測量方法 95
6.5.1　混淆矩陣 96
6.5.2　評價指標 96
6.5.3　分類準確率的提升方法 96
6.6　分類分析的Python實現方式 98
6.6.1　KNN算法 98
6.6.2　決策樹算法 99
6.6.3　支持向量機算法 99
第7章　關聯規則分析 101
7.1　關聯規則分析的商業應用場景 102
7.1.1　關聯規則分析的基礎知識 102
7.1.2　關聯規則分析在商業領域的應用 104
7.2　常見的關聯規則分析算法 105
7.2.1　Apriori算法 105
7.2.2　FP-Growth算法 105
7.3　關聯規則分析的Python實現方式 106
7.3.1　Apriori算法 106
7.3.2　FP-Growth算法 107
第8章　回歸分析 109
8.1　回歸分析的商業應用場景 111
8.1.1　回歸分析的基礎知識 111
8.1.2　回歸分析在商業領域的應用 111
8.2　簡單線性回歸 113
8.2.1　定義與數學模型 113
8.2.2　回歸系數估計 113
8.2.3　計算步驟 114
8.3　多元線性回歸 114
8.3.1　定義與數學模型 114
8.3.2　回歸系數估計 115
8.3.3　計算步驟 116
8.4　邏輯回歸 116
8.4.1　定義與數學模型 116
8.4.2　模型參數估計 118
8.4.3　梯度下降法的實現步驟 118
8.5　嶺回歸與Lasso回歸 119
8.5.1　嶺回歸 119
8.5.2　Lasso回歸 120
8.5.3　嶺回歸與Lasso回歸的對比 121
8.6　回歸結果顯著性檢驗 121
8.6.1　模型擬合優度 121
8.6.2　顯著性檢驗 123
8.6.3　置信區間估計 125
8.7　回歸分析的診斷與改進 125
8.7.1　殘差分析 125
8.7.2　多重共線性 127
8.7.3　異方差 128
8.7.4　自相關 129
8.8　回歸分析的Python實現方式 131
8.8.1　簡單線性回歸 131
8.8.2　多元線性回歸 132
8.8.3　邏輯回歸 133
8.8.4　嶺回歸 134
8.8.5　Lasso回歸 134
8.8.6　回歸結果顯著性檢驗 135
8.8.7　回歸分析的診斷與改進 136
第9章　人工神經網絡 138
9.1　人工神經網絡的商業應用 141
9.1.1　人工神經網絡的基礎知識 141
9.1.2　人工神經網絡的商業應用 141
9.2　感知機 143
9.2.1　簡單邏輯電路 143
9.2.2　工作原理 144
9.2.3　線性不可分的局限 144
9.2.4　多層感知機 145
9.3　全連接神經網絡 146
9.3.1　基本結構 146
9.3.2　激活函數 147
9.3.3　損失函數 150
9.4　卷積神經網絡 152
9.4.1　基本結構 152
9.4.2　訓練流程 155
9.4.3　代表性網絡結構 155
9.5　循環神經網絡 156
9.5.1　基本結構 157
9.5.2　訓練流程 157
9.5.3　代表性網絡結構 158
9.6　訓練技巧 160
9.6.1　參數初始化 160
9.6.2　批處理 162
9.6.3　優化算法 163
9.6.4　偏差與方差 164
9.6.5　超參數調優 166
9.7　深度學習框架 167
9.7.1　TensorFlow和Keras 167
9.7.2　PyTorch 168
9.7.3　PyTorch與TensorFlow的差異 169
9.8　人工神經網絡的Python代碼實現 169
9.8.1　全連接神經網絡 169
9.8.2　卷積神經網絡 171
9.8.3　循環神經網絡 171
9.8.4　LSTM網絡 174
9.8.5　門控循環單元 176
第10章　商業文本挖掘 179
10.1　文本挖掘的商業應用場景 181
10.1.1　文本挖掘的基礎知識 181
10.1.2　文本挖掘在商業領域的應用 183
10.2　文本向量化方法 184
10.2.1　獨熱編碼 184
10.2.2　詞袋模型 184
10.2.3　TF-IDF模型 185
10.2.4　Word2Vec模型 186
10.2.5　Doc2Vec模型 187
10.2.6　其他方法 188
10.3　文本挖掘任務 189
10.3.1　文本分類 189
10.3.2　文本關聯規則 190
10.3.3　文本情感分析 190
10.3.4　文本主題提取 191
10.4　文本挖掘的Python實現方式 193
10.4.1　文本預處理與分詞 193
10.4.2　文本可視化 194
10.4.3　使用scikit-learn庫進行文本挖掘 195
10.4.4　使用VADER進行情感分析 197
10.4.5　使用gensim進行Word2Vec模型訓練 198
第3篇　案例篇
第11章　“翠峰伍號”顧客細分 202
11.1　玩具配送企業面臨的問題 202
11.2　關於客戶需求的業務指標設計 203
11.3　數據清洗與準備 203
11.3.1　數據清洗和預處理 203
11.3.2　探索性分析 206
11.4　聚類分析 211
11.4.1　特征工程 211
11.4.2　聚類分析過程 212
11.5　基於用戶畫像的營銷策略設計 217
11.6　指導老師點評 218
第12章　“僵屍粉絲”識別——分類分析 219
12.1　“粉絲經濟”的興起與虛假粉絲問題 219
12.2　“僵屍粉絲”特征指標選擇 219
12.3　數據收集與用戶特征選擇 220
12.3.1　數據收集 220
12.3.2　用戶特征選擇 220
12.4　數據清洗與預處理 221
12.4.1　去重與缺失值處理 221
12.4.2　數據編碼 221
12.4.3　數據標準化 223
12.4.4　數據降維 223
12.5　分類模型構建與調優 226
12.5.1　關鍵參數解釋 226
12.5.2　訓練過程 227
12.5.3　模型參數調優 227
12.5.4　評估模型性能 227
12.6　分類結果分析 228
12.6.1　參數優化結果分析 228
12.6.2　降維前分類結果分析 228
12.6.3　降維後分類結果分析 229
12.7　“僵屍粉絲”問題的應對策略 230
12.7.1　“僵屍粉絲”檢測與清理機制 230
12.7.2　用戶價值分層體系 230
12.7.3　平臺運營優化策略 230
12.8　指導老師點評 231
第13章　消費者對貓咖的認知態度研究 232
13.1　“它經濟”與貓咖的興起 232
13.2　消費者認知的業務指標 233
13.3　數據收集、清洗與準備 233
13.3.1　數據收集 233
13.3.2　數據預處理 233
13.4　數據分析與結果 236
13.4.1　詞雲圖 236
13.4.2　情感分析 237
13.4.3　LDA主題提取 240
13.5　基於消費者需求的貓咖運營改進建議 244
13.6　指導老師點評 245
第14章　青年旅舍的客戶需求分析與運營建議 247
14.1　青年旅舍的行業現狀與問題 247
14.2　消費者需求指標的設計 248
14.3　數據收集與清洗 248
14.3.1　數據收集 248
14.3.2　數據清洗 249
14.4　青年旅舍文本數據分析 250
14.4.1　數據的基本分布 250
14.4.2　主題聚類分析 250
14.4.3　基於主題聚類的情感分析 254
14.4.4　客群特征與差異 257
14.5　針對青年旅舍的服務改進建議 259
14.6　指導老師點評 260
參考文獻 262