1. 知乎文章圖片爬取器之二博客背景

昨天寫了知乎文章圖片爬取器的一部分代碼，針對知乎問題的答案json進行了數(shù)據(jù)抓取，博客中出現(xiàn)了部分寫死的內(nèi)容，今天把那部分信息調(diào)整完畢，并且將圖片下載完善到代碼中去。

首先，需要獲取任意知乎的問題，只需要你輸入問題的ID，就可以獲取相關(guān)的頁面信息，比如最重要的合計有多少人回答問題。
問題ID為如下標紅數(shù)字

編寫代碼，下面的代碼用來檢測用戶輸入的是否是正確的ID，并且通過拼接URL去獲取該問題下面合計有多少答案。

            
              在學(xué)習(xí)過程中有什么不懂得可以加我的
python學(xué)習(xí)交流扣扣qun，784758214
群里有不錯的學(xué)習(xí)視頻教程、開發(fā)工具與電子書籍。
與你分享python企業(yè)當下人才需求及怎么從零基礎(chǔ)學(xué)習(xí)好python，和學(xué)習(xí)什么內(nèi)容
import requests
import re
import pymongo
import time
DATABASE_IP = '127.0.0.1'
DATABASE_PORT = 27017
DATABASE_NAME = 'sun'
client = pymongo.MongoClient(DATABASE_IP,DATABASE_PORT)
db = client.sun
db.authenticate("dba", "dba")
collection = db.zhihuone  # 準備插入數(shù)據(jù)

BASE_URL = "https://www.zhihu.com/question/{}"
def get_totle_answers(article_id):
    headers = {
        "user-agent": "需要自己補全 Mozilla/5.0 (Windows NT 10.0; WOW64)"
    }

    with requests.Session() as s:
        with s.get(BASE_URL.format(article_id),headers=headers,timeout=3) as rep:
            html = rep.text
            pattern =re.compile( '
              
              ')
            s = pattern.search(html)
            print("查找到{}條數(shù)據(jù)".format(s.groups()[0]))
            return s.groups()[0]

if __name__ == '__main__':

    # 用死循環(huán)判斷用戶輸入的是否是數(shù)字
    article_id = ""
    while not article_id.isdigit():
        article_id = input("請輸入文章ID：")

    totle = get_totle_answers(article_id)
    if int(totle)>0:
        zhi = ZhihuOne(article_id,totle)
        zhi.run()
    else:
        print("沒有任何數(shù)據(jù)！")

            
          

完善圖片下載部分，圖片下載地址在查閱過程中發(fā)現(xiàn)，存在json字段的 content 中，我們采用簡單的正則表達式將他匹配出來。細節(jié)如下圖展示

編寫代碼吧，下面的代碼注釋請仔細閱讀，中間有一個小BUG，需要手動把pic3修改為pic2這個地方目前原因不明確，可能是我本地網(wǎng)絡(luò)的原因，還有請在項目根目錄先創(chuàng)建一個 imgs 的文件夾，用來存儲圖片

            
                  def download_img(self,data):
        ## 下載圖片
        for item in data["data"]:
            content = item["content"]
            pattern = re.compile('
              
              ')
            imgs = pattern.findall(content)
            if len(imgs) > 0:
                for img in imgs:
                    match = re.search('
              
            
          

如果你依然在編程的世界里迷茫，可以加入我們的Python學(xué)習(xí)扣qun：784758214，看看前輩們是如何學(xué)習(xí)的。交流經(jīng)驗。從基礎(chǔ)的python腳本到web開發(fā)、爬蟲、django、數(shù)據(jù)挖掘等，零基礎(chǔ)到項目實戰(zhàn)的資料都有整理。送給每一位python的小伙伴！分享一些學(xué)習(xí)的方法和需要注意的小細節(jié)，點擊加入我們的 python學(xué)習(xí)者聚集地

運行結(jié)果為

然后在玩知乎的過程中，發(fā)現(xiàn)了好多好問題