Python爬蟲案例實戰（微課視頻版）

本書主要介紹Python爬蟲編寫的基礎知識，以及對爬蟲數據的存儲、深入處理和分析。全書分為四部分： 第一部分為爬蟲基礎篇，第二部分為實戰基礎篇（9個案例），第三部分為框架應用篇（5個案例），第四部分為爬蟲應用場景及數據處理篇（6個案例）。 本書由淺入深地介紹爬蟲常用的方法和工具，以及對爬蟲數據處理的應用和實現。但需要註意的是，爬蟲的技術棧不僅包含這幾部分，而且在實際工作中的細分方法也不盡相同。本書只是對目前爬蟲技術中最為常用的一些知識點用案例的形式進行了分類和講解，而更多的應用也值得讀者在掌握一定的基礎技能後進一步探索。 本書適合Python語言初學者、網絡爬蟲技術愛好者、數據分析從業人士以及高等學校電腦科學、軟件工程等相關專業的師生閱讀。

目錄

第一部分爬蟲基礎篇

第1章Python網絡爬蟲基礎

1.1HTTP、HTML與JavaScript

1.1.1HTTP

1.1.2HTML

1.1.3JavaScript

1.2Requests的使用

1.2.1Requests簡介

1.2.2使用Requests編寫爬蟲程序

1.3常見的網頁解析工具

1.3.1BeautifulSoup

1.3.2XPath與lxml

1.4Scrapy框架與Selenium

1.4.1爬蟲框架： Scrapy

1.4.2模擬瀏覽器： Selenium

1.5本章小結

第二部分實戰基礎篇

第2章爬取某游戲Top100選手信息

2.1JavaScript對象與JSON

2.2爬取方案分析

2.2.1方案一

2．2．2方案二

2.3本章小結

第3章爬取豆瓣電影簡介

3.1確定信息源

3.2獲取網頁信息

3.3解析信息內容

3.4批量爬取網頁信息

3.5本章小結

第4章爬取源代碼練習評測結果

4.1網站分析

4.2編寫爬蟲

4.3運行並查看結果

4.4本章小結

第5章爬取網絡中的小說和購物評論

5.1下載網絡小說

5.1.1分析網頁

5.1.2編寫爬蟲

5.1.3運行並查看TXT文件

5.2下載購物評論

5.2.1查看網絡數據

5.2.2編寫爬蟲

5.2.3數據下載結果與爬蟲分析

5.3本章小結

第6章爬取新浪財經股票資訊

6.1編寫爬蟲

6.2運行並查看結果

6.3展示網頁

6.4本章小結

第7章爬取豆瓣電影海報

7.1豆瓣網站分析與爬蟲設計

7.1.1從需求出發

7.1.2處理登錄問題

7.2編寫爬蟲

7.2.1爬蟲腳本

7.2.2程序分析

7.3運行並查看結果

7.4本章小結

第8章爬取免費IP代理項目

8.1代理服務器的分類

8.2網站分析

8.3編寫爬蟲

8.4運行並查看結果

8.5本章小結

第9章爬取微信群聊成員信息

9.1用Selenium爬取Web端微信信息

9.2基於Python的微信API工具

9.3爬蟲的部署和管理

9．3．1配置遠程主機

9．3．2編寫本地爬蟲

9．3．3部署爬蟲

9．3．4查看運行結果

9．3．5使用爬蟲管理框架

9.4本章小結

第10章爬取網易跟帖

10.1網頁自動化工具的簡介

10.2分析網頁

10.3編寫爬蟲

10.4運行並通過MongoDB查看數據

10.5本章小結

第三部分框架應用篇

第11章爬取機場航班信息

11.1分析網頁

11.2編寫爬蟲

11.3爬蟲的使用說明

11.4本章小結

第12章爬取拼多多商品的評論數據

12.1分析網頁

12.2環境搭建

12.3編寫爬蟲

12.4運行並查看數據庫MongoDB

12.5本章小結

第13章使用爬蟲框架Gain和PySpider

13.1Gain框架

13.2使用Gain做簡單爬取

13.3PySpider框架

13.4使用PySpider進行爬取

13.5本章小結

第14章爬取新浪新聞並通過客戶端展示

14.1項目分析

14.2創建數據庫

14.3設置頁面下載器

14.4生產者消費者模型

14.5客戶端界面設計

14.6本章小結

第15章爬取某機場航班出發時間數據

15.1程序設計

15．1．1分析網頁

15．1．2將數據保存到數據庫

15.2編寫爬蟲

15．2．1前置準備

15．2．2代碼編寫

15．2．3運行並查看數據庫中的結果

15.3本章小結

第四部分爬蟲應用場景及數據處理篇

第16章用爬蟲和Flask搭建新聞接口服務

16.1編寫爬蟲

16．1．1爬取數據源網頁

16．1．2搭建Flask服務

16．1．3程序代碼詳情

16.2本章小結

第17章網易雲音樂評論內容的爬取與分析

17.1jieba庫

17.2WordCloud庫

17.3網頁分析

17.4編寫爬蟲

17.5運行結果

17.6本章小結

第18章爬取二手房數據並繪制熱力圖

18.1數據爬取

18．1．1分析網頁

18．1．2地址轉換成經緯度

18．1．3編寫爬蟲

18．1．4數據下載結果

18.2繪制熱力圖

18.3本章小結

第19章用爬蟲數據搭建附近二手房價格搜索引擎

19.1編寫爬蟲

19．1．1準備數據

19．1．2安裝以及使用ES

19．1．3實現房價地理位置坐標搜索的搜索引擎

19.2本章小結

第20章爬取豆瓣電影影評並簡單分析數據

20.1需求分析與爬蟲設計

20.1.1網頁分析

20.1.2函數設計

20.2編寫爬蟲

20.2.1編寫程序

20.2.2可能的改進

20.3本章小結

第21章爬取用戶影評數據並通過推薦算法推薦電影

21.1明確目標與數據準備

21．1．1明確目標

21．1．2數據採集與處理

21．1．3工具選擇

21.2初步分析

21．2．1用戶角度分析

21．2．2電影角度分析

21.3用推薦算法實現電影推薦

21.4本章小結

參考文獻