數據挖掘與商務智能

  目   錄      

第1章  商務智能概述 1

1.1  基本概念 1

1.1.1  商務智能的定義 1

1.1.2  商務智能的發展 3

1.1.3  商務智能的主要功能 4

1.2  框架和流程 5

1.2.1  商務智能的體系框架 5

1.2.2  商務智能系統的處理流程 6

1.3  支撐技術 7

1.3.1  數據倉庫技術 7

1.3.2  在線分析處理技術 8

1.3.3  數據挖掘技術 8

1.4  主要應用和發展趨勢 9

1.4.1  商務智能的主流軟件 9

1.4.2  商務智能的應用場景 11

1.4.3  商務智能的發展趨勢 12

小結 13

習題 14

第2章  數據挖掘概述 15

2.1  引論 15

2.1.1  數字社會 15

2.1.2  人工智能的浪潮 16

2.2  數據、信息與知識 16

2.2.1  數據概述 16

2.2.2  信息概述 17

2.2.3  知識概述 17

2.3  基本概念 18

2.3.1  數據挖掘的定義 18

2.3.2  數據挖掘的功能 19

2.3.3  數據挖掘的研究問題 21

2.4  數據類型和來源 21

2.4.1  數據挖掘的數據類型 21

2.4.2  數據挖掘的數據來源 22

2.5  核心技術 23

2.5.1  統計學 23

2.5.2  機器學習 23

2.5.3  信息檢索 24

2.6  應用場景與安全問題 25

2.6.1  數據挖掘的應用場景 25

2.6.2  數據挖掘的安全問題 26

小結 26

習題 27

第3章  Python基礎 28

3.1  Python環境的搭建 28

3.1.1  Python簡介 28

3.1.2  Python環境的配置 29

3.1.3  Python開發工具 32

3.1.4  Python庫的安裝 34

3.2  numpy庫 36

3.2.1  numpy庫安裝驗證 36

3.2.2  NDarray對象創建 37

3.2.3  NDarray數組屬性 38

3.2.4  NDarray數據類型 39

3.2.5  NDarray數組切片 40

3.2.6  NDarray高級索引 41

3.2.7  NDarray數組翻轉 42

3.2.8  NDarray數組連接 43

3.2.9  NDarray數組分裂 44

3.2.10  NDarray數組計算 44

3.3  pandas庫 45

3.3.1  pandas庫安裝驗證 45

3.3.2  pandas庫數據結構 46

3.3.3  DataFrame創建 47

3.3.4  DataFrame屬性 49

3.3.5  DataFrame讀取 50

3.3.6  DataFrame時間序列操作 51

3.3.7  DataFrame修改表結構 52

3.3.8  DataFrame篩選數據 53

3.3.9  DataFrame分組統計 54

3.4  matplotlib庫 56

3.4.1  matplotlib庫安裝驗證 56

3.4.2  繪制函數 56

3.4.3  線條的設置 58

3.4.4  坐標軸的設置 60

3.4.5  圖例的設置 62

3.5  pyecharts庫 65

3.5.1  pyecharts庫安裝驗證 65

3.5.2  繪制圖表 65

3.5.3  配置項 67

3.5.4  Web框架整合 70

3.5.5  繪制組合圖表 73

小結 75

習題 76

第4章  數據采集與預處理 77

4.1  數據采集 77

4.2  數據的描述性統計 78

4.2.1  集中趨勢度量 78

4.2.2  離散趨勢度量 80

4.3  數據預處理 83

4.3.1  數據預處理概述 83

4.3.2  數據清洗 83

4.3.3  數據集成 86

4.3.4  數據變換 88

4.3.5  數據歸約 91

4.4  數據存儲 92

4.4.1  TXT、Excel、CSV 92

4.4.2  數據庫 95

4.4.3  雲存儲 98

4.4.4  數據倉庫 100

小結 101

習題 102

第5章  網絡爬蟲技術 103

5.1  初識網絡爬蟲 103

5.1.1  網絡爬蟲概述 103

5.1.2  網絡爬蟲分類 104

5.1.3  網絡爬蟲原理 105

5.1.4  網絡爬蟲約束 106

5.2  Web前端 107

5.2.1  HTTP基本原理 107

5.2.2  HTML語言 111

5.2.3  CSS層疊樣式表 115

5.2.4  JavaScript動態腳本語言 116

5.3  數據請求庫requests 117

5.3.1  GET請求 118

5.3.2  POST請求 120

5.3.3  添加請求頭headers 121

5.3.4  超時設置 121

5.4  數據解析庫Xpath 122

5.4.1  Xpath概述 122

5.4.2  Xpath常用路徑表達式 122

5.4.3  Xpath解析HTML 123

5.4.4  Xpath獲取節點 125

5.4.5  Xpath獲取文本 126

5.4.6  Xpath屬性匹配 126

5.5  正則表達式 127

5.5.1  匹配規則 128

5.5.2  查找一個匹配項 129

5.5.3  查找多個匹配項 129

5.5.4  分割字符串 130

5.5.5  替換字符串 131

5.5.6  正則表達式對象 132

5.6  爬蟲實戰：豆瓣電影Top 250 132

小結 136

習題 137

第6章  數據挖掘基礎算法 138

6.1  機器學習概述 138

6.1.1  機器學習的定義 138

6.1.2  機器學習的一般方法 140

6.1.3  機器學習的分類 141

6.1.4  過擬合與欠擬合 142

6.1.5  機器學習性能評估 143

6.1.6  scikit-learn簡介 146

6.2  回歸分析 147

6.2.1  回歸分析概述 147

6.2.2  簡單線性回歸 148

6.2.3  多元線性回歸 150

6.2.4  邏輯回歸 152

6.3  分類分析 154

6.3.1  分類分析概述 155

6.3.2  基於規則的分類 156

6.3.3  基於最近鄰的分類 158

6.3.4  決策樹分類 160

6.3.5  貝葉斯分類 163

6.3.6  支持向量機分類 166

6.3.7  隨機森林分類 168

6.3.8  人工神經網絡 170

6.4  聚類分析 171

6.4.1  聚類分析概述 172

6.4.2  K-means聚類 173

6.4.3  DBSCAN聚類 176

6.5  關聯分析 179

6.5.1  關聯分析概述 179

6.5.2  關聯分析的概念及流程 180

6.5.3  Apriori算法原理 182

6.5.4  Apriori算法實現 184

小結 186

習題 187

第7章  文本挖掘技術 188

7.1  文本挖掘概述 188

7.1.1  文本數據的概念 188

7.1.2  自然語言處理技術概述 189

7.1.3  文本挖掘的定義和難點 190

7.1.4  文本挖掘的過程 192

7.1.5  算法常用庫的介紹 193

7.2  數據預處理 194

7.2.1  中文分詞 194

7.2.2  數據清洗 196

7.2.3  詞性標註 199

7.2.4  特征詞選擇和權重 199

7.3  情感分析 200

7.3.1  情感分析概述 200

7.3.2  情感分析Python實現——SnowNLP庫與樸素貝葉斯算法 201

7.4  主題挖掘 202

7.4.1  主題挖掘概述 203

7.4.2  主題挖掘Python實現——LDA模型 204

小結 209

習題 209

第8章  深度學習 211

8.1  神經網絡 211

8.1.1  神經網絡結構 211

8.1.2  反向傳播算法 214

8.1.3  深度學習的興起 217

8.2  卷積神經網絡 218

8.2.1  從全連接層到卷積 218

8.2.2  卷積神經網絡的特性 219

8.2.3  經典卷積神經網絡模型 222

8.2.4  基於PyTorch的實現 224

8.3  循環神經網絡 228

8.3.1  循環神經網絡結構 228

8.3.2  長短期記憶 230

8.3.3  門控循環單元 232

8.3.4  基於PyTorch的實現 233

8.4  圖神經網絡 237

8.4.1  圖基礎知識 237

8.4.2  圖神經網絡模型 239

8.4.3  基於PyTorch的實現 242

小結 243

習題 244

參考文獻 245