Python 網絡爬蟲 (Scrapy框架)
肖睿 陳磊
- 出版商: 人民郵電
- 出版日期: 2020-01-01
- 定價: $270
- 售價: 7.9 折 $213
- 語言: 簡體中文
- 頁數: 199
- ISBN: 7115527296
- ISBN-13: 9787115527295
-
相關分類:
Web-crawler 網路爬蟲
立即出貨
買這商品的人也買了...
-
$204統計會犯錯如何避免數據分析中的統計陷阱 -
$270Python 編程基礎與 HTTP 接口測試 -
$270Python 數字信號處理應用 (Think DSP: Digital Signal Processing in Python) -
$250Python 3爬蟲、數據清洗與可視化實戰 -
$352Python金融數據分析 -
$454統計機器學習導論 (Introduction to Statistical Machine Learning) -
$374機器學習：實用技術指南 -
Python 深度學習實作：Keras 快速上手$500$390 -
$414機器學習經典算法剖析 基於OpenCV -
$403AWS 雲計算實戰 (Amazon Web Services in Action) -
BBC Micro:bit 入門與學習$249$197 -
$768數據密集型應用系統設計 (Designing Data-Intensive Applications: The Big Ideas Behind Reliable, Scalable, and Maintainable Systems) -
$403Python Web 自動化測試設計與實現 -
$236機器學習及應用（在線實驗+在線自測） -
$594深度強化學習原理與實踐 -
$301Python 接口自動化測試 -
電腦時代的統計推斷：算法、演化和數據科學 (Computer Age Statistical Inference : Algorithms, Evidence, and Data Science)$714$678 -
$505Python Qt GUI 與數據可視化編程 -
$602基於 Python 的金融分析與風險管理 -
$454深度學習模型及應用詳解 -
$534面向數據科學家的實用統計學 -
$250精通 Python 設計模式, 2/e (Mastering Python Design Patterns : A guide to creating smart, efficient and reusable software, 2/e) -
自己動手寫 Python 虛擬機$474$450 -
HTTP/2 in Action (簡體中文版)$672$638 -
Python + Kivy (App開發) 從入門到實踐$588$559
相關主題
商品描述
因特網上存在著大量值得收集的公共信息，而爬蟲技術就是獲取這些公共信息的主要工具。本書以主流的Scrapy爬蟲框架為例，介紹了Python網絡爬蟲的組成、爬蟲框架的使用以及分佈式爬蟲等內容。本書運用了大量案例和實踐，融入了含金量十足的開發經驗，使得內容緊密結合實際應用。在此基礎上，本書還通過豐富的練習和操作實踐，幫助讀者鞏固所學的內容。本書配以多元的學習資源和支持服務，包括視頻、案例素材、學習社區等，為讀者提供全方位的學習體驗。
本書適合作為電腦、大數據等相關專業的教材，也適合具有一定Linux或Python開發基礎的人員閱讀，還可以作為爬蟲工程師的學慣用書。
目錄大綱
第1章 使用第三方庫實現信息抓取
任務1 使用第三方庫實現北京公交站點頁面信息抓取
1.1.1 介紹爬蟲
1.1.2 HTTP
1.1.3 HTML
1.1.4 使用第三方庫實現爬蟲功能
1.1.5 技能實訓
任務2使用第三方庫實現北京公交站點詳細信息抓取
1.2.1 lxml庫
1.2.2 第三方庫數據抓取及保存
1.2.3 技能實訓
本章小結
本章作業
第2章 初探Scrapy爬蟲框架
任務1 安裝Scrapy爬蟲框架並創建爬蟲工程
2.1.1 根據使用場景劃分爬蟲種類
2.1.2 開發基於Scrapy爬蟲框架的工程
任務2學習並掌握Scrapy爬蟲框架各模塊的功能
2.2.1 Scrapy爬蟲工程組成
2.2.2 Scrapy爬蟲框架架構
本章小結
本章作業
第3章 提取網頁數據
任務1 使用Scrapy的選擇器提取豆瓣電影信息
3.1.1 Response對象
3.1.2 css選擇器
3.1.3 多層級網頁爬取
3.1.4 技能實訓
任務2使用正則表達式從電影介紹詳情中提取指定信息
3.2.1 正則表達式
3.2.2 技能實訓
本章小結
本章作業
第4章 Scrapy數據保存(文件、MySQL、MongoDB)
任務一 使用Feed exports將爬取的電影信息保存到常見數據格式文件中
4.1.1 Feed exports
4.1.2 技能實訓
任務2使用pipeline將爬取的電影信息數據保存到數據庫中
4.2.1 Python操作MySQL數據庫
4.2.2 pipeline模塊
4.2.3 將數據保存到MongoDB中
4.2.4 技能實訓
本章小結
本章作業
第5章 Scrapy反反爬技術
任務1 學習反爬蟲和反反爬蟲策略
5.1.1 反爬蟲方法和反反爬蟲策略
5.1.2 Scrapy設置實現反反爬
5.1.3 技能實訓
任務2學習Scrapy框架中更多常用的設置
5.2.1 抓取需要登錄的網站
5.2.2 Scrapy常用擴展設置
本章小結
本章作業
第6章 Selenium+瀏覽器加載動態數據
任務一使用Selenium和第三方瀏覽器驅動完成搜狐網頁信息爬取
6.1.1 靜態網頁與動態網頁
6.1.2 爬蟲抓取動態網頁的常用方法
6.1.3 Selenium+Chrome driver
6.1.4 技能實訓
任務二使用Selenium+Chrome+Scrapy完成京東商品信息爬取
6.2.1 Selenium的使用
6.2.2 Selenium提高效率的方法
6.2.3 技能實訓
本章小結
本章作業
第7章 App數據爬取
任務一使用Scrapy爬蟲框架爬取雪球App基金頻道新聞列表數據
7.1.1 App數據爬取介紹
7.1.2 App數據接口分析方法
7.1.3 使用Scrapy爬取App數據
7.1.4 技能實訓
任務2使用Scrapy爬巴蟲框架爬取知乎App推薦欄目列表數據
7.2.1 爬取使用證書校驗技術的App數據
7.2.2 技能實訓
本章小結
本章作業
第8章 分布式爬蟲Scrapy-Redis
任務1搭建分布式爬蟲運行環境
8.1.1 分布式爬蟲框架介紹
8.1.2 搭建分布式爬蟲運行環境
任務2 使用分布式爬蟲完成對火車信息的爬取
8.2.1 Scrapy-Redis分布式爬蟲
8.2.2 技能實訓
本章小結
本章作業
第9章 Python數據分析
任務1 使用：Pandas統計招聘信息中城市名稱出現的次數
9.1.1 Python數據分析
9.1.2 NumPy
9.1.3 Pandas
9.1.4 技能實訓
任務2使用Matplotlib實現招聘信息中城市名稱出現次數的可視化展示
9.2.1 數據可視化
9.2.2 技能實訓
本章小結
本章作業
第10章 項目實訓——爬取招聘網站數據
10.1 項目準備
lO.2 難點分析
10.3 項目實現思路
本章小結
本章作業
