日韩久久久精品,亚洲精品久久久久久久久久久,亚洲欧美一区二区三区国产精品 ,一区二区福利

零基礎(chǔ)寫(xiě)python爬蟲(chóng)之爬蟲(chóng)框架Scrapy安裝配置

系統(tǒng) 1676 0

前面十章爬蟲(chóng)筆記陸陸續(xù)續(xù)記錄了一些簡(jiǎn)單的Python爬蟲(chóng)知識(shí),
用來(lái)解決簡(jiǎn)單的貼吧下載,績(jī)點(diǎn)運(yùn)算自然不在話下。
不過(guò)要想批量下載大量的內(nèi)容,比如知乎的所有的問(wèn)答,那便顯得游刃不有余了點(diǎn)。
于是乎,爬蟲(chóng)框架Scrapy就這樣出場(chǎng)了!
Scrapy = Scrach+Python,Scrach這個(gè)單詞是抓取的意思,

Scrapy的官網(wǎng)地址:點(diǎn)我點(diǎn)我。

那么下面來(lái)簡(jiǎn)單的演示一下Scrapy的安裝流程。
具體流程參照://www.jb51.net/article/48607.htm
友情提醒:一定要按照Python的版本下載,要不然安裝的時(shí)候會(huì)提醒找不到Python。建議大家安裝32位是因?yàn)橛行┌姹镜谋貍滠浖?4位不好找。

1.安裝Python(建議32位)

建議安裝Python2.7.x,3.x貌似還不支持。
安裝完了記得配置環(huán)境,將python目錄和python目錄下的Scripts目錄添加到系統(tǒng)環(huán)境變量的Path里。
在cmd中輸入python如果出現(xiàn)版本信息說(shuō)明配置完畢。

2.安裝lxml

lxml是一種使用 Python 編寫(xiě)的庫(kù),可以迅速、靈活地處理 XML。點(diǎn)擊這里選擇對(duì)應(yīng)的Python版本安裝。

3.安裝setuptools

用來(lái)安裝egg文件,點(diǎn)擊這里下載python2.7的對(duì)應(yīng)版本的setuptools。

4.安裝zope.interface

可以使用第三步下載的setuptools來(lái)安裝egg文件,現(xiàn)在也有exe版本,點(diǎn)擊這里下載。

5.安裝Twisted

Twisted是用Python實(shí)現(xiàn)的基于事件驅(qū)動(dòng)的網(wǎng)絡(luò)引擎框架,點(diǎn)擊這里下載。

6.安裝pyOpenSSL

pyOpenSSL是Python的OpenSSL接口,點(diǎn)擊這里下載。

7.安裝win32py

提供win32api,點(diǎn)擊這里下載

8.安裝Scrapy

終于到了激動(dòng)人心的時(shí)候了!安裝了那么多小部件之后終于輪到主角登場(chǎng)。
直接在cmd中輸入easy_install scrapy回車(chē)即可。

9.檢查安裝

打開(kāi)一個(gè)cmd窗口,在任意位置執(zhí)行scrapy命令,得到下列頁(yè)面,表示環(huán)境配置成功。

零基礎(chǔ)寫(xiě)python爬蟲(chóng)之爬蟲(chóng)框架Scrapy安裝配置_第1張圖片


更多文章、技術(shù)交流、商務(wù)合作、聯(lián)系博主

微信掃碼或搜索:z360901061

微信掃一掃加我為好友

QQ號(hào)聯(lián)系: 360901061

您的支持是博主寫(xiě)作最大的動(dòng)力,如果您喜歡我的文章,感覺(jué)我的文章對(duì)您有幫助,請(qǐng)用微信掃描下面二維碼支持博主2元、5元、10元、20元等您想捐的金額吧,狠狠點(diǎn)擊下面給點(diǎn)支持吧,站長(zhǎng)非常感激您!手機(jī)微信長(zhǎng)按不能支付解決辦法:請(qǐng)將微信支付二維碼保存到相冊(cè),切換到微信,然后點(diǎn)擊微信右上角掃一掃功能,選擇支付二維碼完成支付。

【本文對(duì)您有幫助就好】

您的支持是博主寫(xiě)作最大的動(dòng)力,如果您喜歡我的文章,感覺(jué)我的文章對(duì)您有幫助,請(qǐng)用微信掃描上面二維碼支持博主2元、5元、10元、自定義金額等您想捐的金額吧,站長(zhǎng)會(huì)非常 感謝您的哦?。?!

發(fā)表我的評(píng)論
最新評(píng)論 總共0條評(píng)論
主站蜘蛛池模板: 海阳市| 灵寿县| 邮箱| 永春县| 东丽区| 石狮市| 荣成市| 临澧县| 蚌埠市| 高雄县| 伽师县| 辛集市| 白玉县| 讷河市| 辽阳县| 定安县| 方正县| 开阳县| 蒲城县| 和顺县| 绥德县| 新民市| 长寿区| 敦化市| 南溪县| 香港 | 芦溪县| 通渭县| 舒城县| 滕州市| 石渠县| 宜昌市| 桐梓县| 开平市| 饶平县| 徐闻县| 昔阳县| 台中市| 彝良县| 凤庆县| 成武县|