Python與大數據分析應用（第2版）

目錄

第1章初識Python1

1.1Python是什麼1

1.2圖解Windows操作系統下安裝Python的步驟1

1.2.1下載Python安裝程序1

1.2.2安裝Python環境1

1.3第一個Python程序6

1.4安裝Anaconda8

1.5Anaconda初體驗12

1.5.1Anaconda Prompt12

1.5.2集成開發環境Spyder的使用13

1.5.3管理虛擬環境14

習題16

第2章Python基礎17

2.1變量、常量、數據類型與運算符17

2.1.1變量與常量17

2.1.2數據類型19

2.1.3運算符23

2.2Python常用的內置函數28

2.2.1數學函數28

2.2.2類型轉換函數28

2.2.3字符串函數29

2.3列表30

2.3.1創建列表30

2.3.2添加列表元素30

2.3.3刪減列表元素32

2.3.4列表切片33

2.3.5列表之間的運算35

2.3.6列表常用的操作函數36

2.3.7二維列表37

2.4元組38

2.4.1創建元組38

2.4.2刪除元組39

2.4.3訪問元組40

2.4.4元組常用的操作函數41

2.5字典42

2.5.1創建字典42

2.5.2訪問字典裏的值43

2.5.3刪除字典與刪除字典元素44

2.5.4修改字典46

2.6控制流47

2.6.1輸出語句47

2.6.2順序結構49

2.6.3分支結構50

2.6.4循環結構53

習題59

第3章函數與模塊65

3.1函數65

3.1.1自定義函數65

3.1.2實參與形參68

3.1.3變量的作用域70

3.1.4lambda表達式70

3.1.5案例精選71

3.2模塊73

3.2.1導入模塊的方法74

3.2.2常用的幾個內置模塊76

3.2.3創建自己的模塊78

3.3數值計算模塊numpy79

3.3.1創建ndarray數組79

3.3.2數組的基本索引和切片82

3.3.3數組的轉置84

3.3.4常用的統計方法84

3.3.5數組的去重及集合運算86

3.3.6生成隨機數87

3.3.7改變數組形態88

3.3.8數組的組合和分割89

3.3.9創建矩陣92

3.3.10矩陣乘法94

3.3.11矩陣的轉置和逆95

3.3.12方陣的跡95

3.3.13計算矩陣的秩96

3.3.14計算矩陣的特征值和特征向量96

3.4類的定義與使用97

習題99

第4章數據處理基礎103

4.1獲取數據103

4.1.1爬蟲簡介103

4.1.2數據抓取實踐109

4.2pandas模塊112

4.2.1Series類型112

4.2.2DataFrame類型113

4.3導入外部數據116

4.3.1導入.csv 文件 116

4.3.2導入.xlsx 文件117

4.3.3導入.txt 文件118

4.3.4利用head 預覽前幾行120

4.4數據預處理120

4.4.1查看缺失值120

4.4.2刪除缺失值121

4.4.3填充缺失值122

4.4.4重復值處理123

4.4.5合並數據124

4.4.6數據統計127

4.4.7保存數據到本地128

4.5sklearn提供的自帶數據集129

習題131

第5章Python繪圖及數據可視化134

5.1matplotlib庫基礎 134

5.1.1創建畫布134

5.1.2繪制圖形函數137

5.1.3保存圖形138

5.2plt.plot()繪圖138

5.3劃分子圖144

5.4條形圖150

5.4.1簡單條形圖151

5.4.2多組條形圖152

5.4.3疊加條形圖153

5.4.4給條形圖添加圖例154

5.4.5在條形圖柱上顯示數值155

5.5散點圖156

5.6餅圖162

5.7直方圖165

5.8箱線圖166

5.8.1簡單箱線圖167

5.8.2並列繪制多個箱線圖168

5.8.3對數據框中每列繪制箱線圖169

5.9小提琴圖170

5.10熱力圖171

5.11詞雲圖177

5.12利用可視化結果分析大數據應用實例182

習題187

第6章Python的聚類分析方法189

6.1機器學習庫sklearn簡介189

6.2KMeans聚類算法190

6.2.1sklearn.cluster中的KMeans用法190

6.2.2使用make_blobs()方法生成測試數據193

6.2.3使用CalinskiHarabasz指數評價聚類結果194

6.3層次聚類196

6.3.1利用sklearn中的AgglomerativeClustering類實現層次聚類196

6.3.2利用scipy中的hierarchy繪制層次聚類樹199

6.4基於密度的聚類方法203

6.5譜聚類算法205

6.6Birch聚類算法207

6.7調參209

6.8使用sklearn構建聚類模型綜合實例212

6.8.1劃分數據集212

6.8.2數據預處理214

6.8.3數據降維217

6.8.4對預處理後的數據進行聚類分析219

習題222

第7章Python的分類算法223

7.1K最近鄰分類器223

7.2支持向量機分類器230

7.2.1SVC230

7.2.2非線性SVM——NuSVC232

7.2.3線性SVM——LinearSVC234

7.3樸素貝葉斯分類器239

7.3.1GaussianNB239

7.3.2MultinomialNB241

7.3.3BernoulliNB242

7.4分類模型評估245

7.5分類器應用實例——文本分類的實現251

習題253

第8章Pyhton的回歸算法254

8.1最小二乘線性回歸254

8.2Lasso模型260

8.3嶺回歸266

8.4邏輯回歸268

8.5回歸模型評估270

習題273

第9章Python決策樹與隨機森林274

9.1分類決策樹276

9.2導出決策樹數據並繪制決策樹圖形278

9.3回歸決策樹282

9.4隨機森林的實現285

9.4.1RandomForestClassifier286

9.4.2特征的重要性評估289

9.4.3RandomForestRegressor291

9.5交叉驗證294

9.5.1cross_val_score()評估模型295

9.5.2sklearn.model_selection.KFold302

9.6綜合實例303

9.6.1UCI數據庫簡介303

9.6.2綜合實例——糖尿病預測306

習題309

參考文獻310