前面十章爬蟲(chóng)筆記陸陸續(xù)續(xù)記錄了一些簡(jiǎn)單的Python爬蟲(chóng)知識(shí),
用來(lái)解決簡(jiǎn)單的貼吧下載,績(jī)點(diǎn)運(yùn)算自然不在話下。
不過(guò)要想批量下載大量的內(nèi)容,比如知乎的所有的問(wèn)答,那便顯得游刃不有余了點(diǎn)。
于是乎,爬蟲(chóng)框架Scrapy就這樣出場(chǎng)了!
Scrapy = Scrach+Python,Scrach這個(gè)單詞是抓取的意思,
Scrapy的官網(wǎng)地址:點(diǎn)我點(diǎn)我。
那么下面來(lái)簡(jiǎn)單的演示一下Scrapy的安裝流程。
具體流程參照://www.jb51.net/article/48607.htm
友情提醒:一定要按照Python的版本下載,要不然安裝的時(shí)候會(huì)提醒找不到Python。建議大家安裝32位是因?yàn)橛行┌姹镜谋貍滠浖?4位不好找。
1.安裝Python(建議32位)
建議安裝Python2.7.x,3.x貌似還不支持。
安裝完了記得配置環(huán)境,將python目錄和python目錄下的Scripts目錄添加到系統(tǒng)環(huán)境變量的Path里。
在cmd中輸入python如果出現(xiàn)版本信息說(shuō)明配置完畢。
2.安裝lxml
lxml是一種使用 Python 編寫(xiě)的庫(kù),可以迅速、靈活地處理 XML。點(diǎn)擊這里選擇對(duì)應(yīng)的Python版本安裝。
3.安裝setuptools
用來(lái)安裝egg文件,點(diǎn)擊這里下載python2.7的對(duì)應(yīng)版本的setuptools。
4.安裝zope.interface
可以使用第三步下載的setuptools來(lái)安裝egg文件,現(xiàn)在也有exe版本,點(diǎn)擊這里下載。
5.安裝Twisted
Twisted是用Python實(shí)現(xiàn)的基于事件驅(qū)動(dòng)的網(wǎng)絡(luò)引擎框架,點(diǎn)擊這里下載。
6.安裝pyOpenSSL
pyOpenSSL是Python的OpenSSL接口,點(diǎn)擊這里下載。
7.安裝win32py
提供win32api,點(diǎn)擊這里下載
8.安裝Scrapy
終于到了激動(dòng)人心的時(shí)候了!安裝了那么多小部件之后終于輪到主角登場(chǎng)。
直接在cmd中輸入easy_install scrapy回車(chē)即可。
9.檢查安裝
打開(kāi)一個(gè)cmd窗口,在任意位置執(zhí)行scrapy命令,得到下列頁(yè)面,表示環(huán)境配置成功。
更多文章、技術(shù)交流、商務(wù)合作、聯(lián)系博主
微信掃碼或搜索:z360901061

微信掃一掃加我為好友
QQ號(hào)聯(lián)系: 360901061
您的支持是博主寫(xiě)作最大的動(dòng)力,如果您喜歡我的文章,感覺(jué)我的文章對(duì)您有幫助,請(qǐng)用微信掃描下面二維碼支持博主2元、5元、10元、20元等您想捐的金額吧,狠狠點(diǎn)擊下面給點(diǎn)支持吧,站長(zhǎng)非常感激您!手機(jī)微信長(zhǎng)按不能支付解決辦法:請(qǐng)將微信支付二維碼保存到相冊(cè),切換到微信,然后點(diǎn)擊微信右上角掃一掃功能,選擇支付二維碼完成支付。
【本文對(duì)您有幫助就好】元
