Python數據採集與分析（微課視頻版）

本書以Python數據採集與數據分析作為中心，不求面面俱到，但求精練並強調實用性，註重提高學生應用Python解決實際問題能力的培養與訓練。全書內容共分三篇13章，第一篇先介紹Python開發環境，然後從Python數據類型、程序控制流程、函數、字符編碼與文件讀寫、面向對象的編程思想等方面介紹了Python編程的基礎內容； 第二篇主要從網絡爬蟲、Scrapy爬蟲框架等方面介紹如何應用Python進行網頁數據的採集； 第三篇則是對採集到的數據進行分析，介紹Python中常用到的兩種數據結構——Series和DataFrame，以及基於這兩種數據對象的基本操作，還介紹如何繪制常用的基本圖形，如折線圖、餅圖、箱線圖等，包括統計學中的相關分析與關聯分析，最後介紹文本挖掘與分析相關內容。 本書在內容組織與編寫上盡量做到邏輯嚴密、結構合理，可供電腦、大數據、人工智能等相關專業的學生使用，也可供經管類等其他專業的學生用於商業數據分析。

目錄

第一篇Python開發環境部署和編程基礎

第1章Python開發環境部署

1.1Anaconda3的安裝與部署

1.2Anaconda3的使用

1.3Jupyter Notebook的使用

第2章Python編程基礎

2.1Python編程語言概述

2.2第一個Python程序

2.3Python中模塊的應用

第3章數據類型

3.1數字

3.2字符串

3.3列表

3.4字典

3.4.1列表和字典的區別與聯系

3.4.2字典的幾種操作

3.5元組

第4章程序控制流程

4.1for循環語句

4.2while循環語句

4.3break語句

4.4continue語句

4.5pass語句

4.6選擇分支結構的實現

4.7隨機數的應用

第5章函數的使用

5.1函數的創建與調用

5.2變量作用域

5.3模塊與包

5.3.1模塊導入

5.3.2模塊的查找方式

5.3.3包

5.4模塊應用舉例

5.4.1time模塊的使用

5.4.2收發電子郵件相關模塊的使用

第6章字符編碼與文件讀寫

6.1常見的編碼類別

6.2文件讀寫

6.2.1文件打開

6.2.2文件讀

6.2.3文件寫

6.2.4文件關閉

6.3csv文件的讀寫操作

6.3.1寫csv文件

6.3.2讀csv文件

6.4Excel文件的讀寫操作

6.4.1向Excel文件中寫入數據

6.4.2讀取Excel文件中的數據

第7章Python面向對象編程

7.1面向對象思想簡介

7.2類的創建

7.2.1初始化方法的定義

7.2.2類的繼承

7.2.3類的定製

第二篇Python數據採集

第8章網絡爬蟲原理

8.1爬蟲的工作步驟

8.2爬蟲倫理

8.2.1Robots協議

8.2.2robots.txt的使用方法

8.3使用BeautifulSoup解析和提取網頁中的數據

8.3.1find()與find_all()的應用

8.3.2select()的應用

8.3.3靜態網頁與動態網頁

8.3.4帶參數的URL請求

8.3.5JSON數據的解析

8.4反反爬蟲技術

8.5攜程網站酒店評論信息的抓取

8.6攜程網站某景區評論信息抓取

8.7天氣信息的抓取

8.8selenium的應用

8.8.1selenium的配置

8.8.2工作原理和步驟

8.8.3selenium提取數據的方法

8.8.4selenium操作元素的常用方法

第9章Scrapy爬蟲框架

9.1安裝Scrapy爬蟲框架並創建爬蟲項目

9.1.1安裝Scrapy爬蟲框架

9.1.2創建並啟動Scrapy爬蟲項目

9.1.3Scrapy爬蟲項目的組成

9.2使用Scrapy提取網頁數據

9.2.1Response對象的屬性和方法

9.2.2xpath選擇器

9.2.3Selector對象

9.2.4css選擇器

9.3多層級網頁抓取

9.3.1相同結構頁面抓取

9.3.2不同結構網頁數據的抓取

9.3.3request與對應的response間的數據傳遞

第三篇Python數據分析

第10章pandas庫

10.1pandas庫的數據結構

10.1.1Series數據結構

10.1.2Series的創建方法

10.1.3Series的索引和切片

10.1.4Series的幾種操作

10.1.5DataFrame數據結構

10.1.6DataFrame數據排序

10.1.7Series 對象和 DataFrame 對象的聯系

10.2分組聚合操作

10.2.1groupby()方法的應用

10.2.2單層分組聚合

10.2.3多層分組聚合操作

10.2.4聚合操作agg()方法的應用

第11章matplotlib數據可視化

11.1圖形繪制的一般步驟

11.2折線圖的繪制

11.2.1單條折線圖的繪制

11.2.2多條折線圖的繪制

11.3餅圖的繪制

11.3.1使用Series繪圖

11.3.2使用matplotlib繪圖

11.4散點圖的繪制

11.5箱線圖的繪制

第12章相關分析與關聯分析

12.1概述

12.2相關分析

12.2.1相關分析的描述與測度

12.2.2相關系數

12.2.3偏相關分析

12.2.4距離相關分析

12.3Apriori關聯分析

12.3.1支持度、置信度與提升度

12.3.2Apriori算法

12.3.3Apriori算法應用舉例

12.3.4Apriori算法的Python實現

第13章文本挖掘與分析

13.1文本挖掘概述

13.1.1文本挖掘的定義

13.1.2文本挖掘的過程

13.1.3Python中的文本挖掘包

13.2Python文本特徵提取與特徵選擇

13.2.1中文分詞

13.2.2詞頻統計

13.2.3詞雲分析

13.2.4文本特徵提取

13.3文本分類實例： 垃圾郵件識別

13.3.1文本分類概述

13.3.2文本分類的Python實現

參考文獻