爬蟲的概念：

爬蟲就是獲取網頁并提取和保存信息的自動化程序

爬蟲的分類：

主要有四類：

通用網絡爬蟲，聚焦網絡爬蟲，增量式網絡爬蟲，深層網絡爬蟲

爬蟲的流程：

常見的幾種爬蟲問題：

主要有五類：

靜態網頁的爬取，Ajax數據的爬取，動態渲染頁面爬取，驗證碼的識別，代理的使用

常見的爬蟲框架：

pyspider框架，Scrapy框架

分布式爬蟲：

在多臺機器上運行爬蟲程序

爬蟲的一些常用"庫"：

解析庫：lxml;Beautiful Soup;pyquery;tesserocr

請求庫：requests;

數據庫：MySql;MongoDB;Redis

Web庫：Flask；Tornado

了解熟練這些基本上就對爬蟲有了很深的理解了。

爬蟲項目實戰：

抓取貓眼電影排行，爬取淘寶商品，幾種驗證碼的識別，使用代理爬取微信公眾號文章，使用Scrapy爬取新浪微博（分布式）

我會將自己所學的（以上所列的一一記錄在博客里），溫故而知新吧。

?

?

?