Webbots, Spiders, and Screen Scrapers (Paperback)

Description

The Internet is bigger and better than what a mere browser allows. Webbots, Spiders, and Screen Scrapers is for programmers and businesspeople who want to take full advantage of the vast resources available on the Web. There's no reason to let browsers limit your online experienceespecially when you can easily automate online tasks to suit your individual needs.

Learn how to write webbots and spiders that do all this and more:

• Programmatically download entire websites
• Effectively parse data from web pages
• Manage cookies
• Decode encrypted files
• Automate form submissions
• Send and receive email
• Send SMS alerts to your cell phone
• Unlock password-protected websites
• Automatically bid in online auctions
• Exchange data with FTP and NNTP servers

Sample projects using standard code libraries reinforce these new skills. You'll learn how to create your own webbots and spiders that track online prices, aggregate different data sources into a single web page, and archive the online data you just can't live without. You'll learn inside information from an experienced webbot developer on how and when to write stealthy webbots that mimic human behavior, tips for developing fault-tolerant designs, and various methods for launching and scheduling webbots. You'll also get advice on how to write webbots and spiders that respect website owner property rights, plus techniques for shielding websites from unwanted robots. Some tasks are just too tediousor too important!?to leave to humans. Once you've automated your online life, you'll never let a browser limit the way you use the Internet again.

 

描述

《Webbots, Spiders, and Screen Scrapers》是為了想要充分利用網絡上豐富資源的程序員和商業人士而設計的。當你可以輕鬆自動化網絡任務以滿足個人需求時，沒有理由讓瀏覽器限制你的在線體驗。

學習如何編寫網絡機器人和爬蟲，實現以下功能：
- 程式化下載整個網站
- 有效解析網頁數據
- 管理 cookies
- 解碼加密文件
- 自動提交表單
- 發送和接收電子郵件
- 向手機發送短信提醒
- 解鎖受密碼保護的網站
- 在線拍賣中自動競標
- 與FTP和NNTP服務器交換數據

通過使用標準代碼庫的示例項目，鞏固這些新技能。你將學習如何創建自己的網絡機器人和爬蟲，追蹤在線價格，將不同數據源聚合到一個網頁中，並存檔你無法離開的在線數據。你將從經驗豐富的網絡機器人開發者那裡獲得內部信息，了解何時以及如何編寫模仿人類行為的隱蔽網絡機器人，開發容錯設計的技巧，以及啟動和安排網絡機器人的各種方法。你還將獲得有關如何編寫尊重網站所有者財產權的網絡機器人和爬蟲的建議，以及保護網站免受不需要的機器人的技巧。有些任務對於人類來說太繁瑣或太重要了！一旦你自動化了你的在線生活，你將永遠不會讓瀏覽器限制你使用互聯網的方式。

目錄
- 簡介
- 第一部分：基本概念和技術
- 第1章：對你有什麼好處？
- 第2章：Web機器人的想法
- 第3章：下載網頁
- 第4章：解析技術
- 第5章：自動提交表單
- 第6章：管理大量數據
- 第二部分：項目
- 第7章：價格監控Web機器人
- 第8章：圖像捕獲Web機器人
- 第9章：鏈接驗證Web機器人
- 第10章：匿名瀏覽Web機器人
- 第11章：搜索排名Web機器人
- 第12章：聚合Web機器人
- 第13章：FTP Web機器人
- 第14章：NNTP新聞Web機器人
- 第15章：閱讀電子郵件的Web機器人
- 第16章：發送電子郵件的Web機器人
- 第17章：將網站轉換為功能
- 第三部分：高級技術考慮
- 第18章：蜘蛛
- 第19章：採購Web機器人和狙擊手
- 第20章：Web機器人和加密
- 第21章：身份驗證
- 第22章：高級Cookie管理
- 第23章：安排Web機器人和蜘蛛
- 第四部分：更大的考慮
- 第24章：設計隱蔽的Web機器人和蜘蛛
- 第25章：編寫容錯Web機器人
- 第26章：設計友好的Web機器人網站
- 第27章：殺死蜘蛛
- 第28章：保護Web機器人免受麻煩
- 附錄A：PHP/CURL參考
- 附錄B：狀態碼
- 附錄C：短信電子郵件