日韩久久久精品,亚洲精品久久久久久久久久久,亚洲欧美一区二区三区国产精品 ,一区二区福利

Python爬取堆糖帥哥照片

系統 1974 0
            
              import requests
import urllib.parse
import threading

#當線程達到十個時就鎖住
thread_lock = threading.BoundedSemaphore(value=10)
#function:獲得json數據
#url:api
#page:返回json數據
def get_page(url):
    #requests.get自帶json.load 用于獲取 page信息
    page = requests.get(url)
    #獲取url的內容
    page = page.content
    #將字節轉換成utf-8格式
    page = page.decode('utf-8')
    return page

#function:獲得所有頁面的api
#label為你要搜索的關鍵字
#獲取所有頁面pages中的鏈接
def pages_from_duitang(label):
    #創建pages 存放獲取到的鏈接并返回
    pages = []
    url = "https://www.duitang.com/napi/blog/list/by_search/?kw={}&start={}&limit=1000"
    for index in range(0,3600,50):
        #兩個變量分別替換兩個占位符{}
        u = url.format(label,index)
        page = get_page(u)
        pages.append(page)
    return pages
#function:獲取單個圖片地址
#page是從get_page請求回來的頁面信息
#startpage是開始匹配的部分
#endpart是字符串末尾匹配的部分
def findall_in_page(page,startpage,endpart):
    #all_string存放所有的照片地址
    all_string = []
    end = 0
    while page.find(startpage,end)!=-1:
        #start為字符串開始的地址 ,從第end個字符開始查找,查找到第一個出現startpage的地址賦值給start
        start = page.find(startpage,end)+len(startpage)
        #從字符串第start位置開始查找,查到到第一個endpart字符串的位置
        end = page.find(endpart,start)
        #獲得從start開始到end為止的字符串 賦值給變量 string
        string = page[start:end]
        #存入列表中
        all_string.append(string)
    return all_string

#function:獲取所有的圖片地址
#pages:從url請求的所有的頁面信息
def pic_urls_from_pages(pages):
    #print("啊哈,請給我一杯忘情水")
    #創建列表,存放所有的圖片地址
    pic_urls = []
    #遍歷所有的頁面信息
    for page in pages:
        #獲取一個的圖片地址 賦值給urls
        urls = findall_in_page(page,'path":"','"')
        #print("urls is the {}".format(urls))
        #將獲取到的單個圖片地址添加到列表pic_urls中
        pic_urls.extend(urls)

    return pic_urls

#function:下載圖片并命名
#url:下載圖片的地址
#n:照片的名字
def download_pics(url,n):
    r = requests.get(url)
    #print("我是r[]",r)
    #生成圖片的相對地址
    path = 'D:\\CodeProject\\pythonProject\\pics\\' + str(n) + '.jpg'
    #以可讀寫的方式打開二進制文件path
    with open(path,'wb') as f:
        #將r的內容讀入到path的文件中
        f.write(r.content)
    #下載完畢,解鎖
    thread_lock.release()

#funtion:主函數
#label:要爬取的關鍵字
def main(label):
    print(label)
    #將關鍵字傳入pages_from_duitang中,獲得對應關鍵字的所有api 賦值給pages
    pages = pages_from_duitang(label)
    #將包含所有的api的pages傳入到pic_urls_from_pages中,獲得所有的圖片地址 賦值給pic_urls
    pic_urls = pic_urls_from_pages(pages)

    n = 0
    #遍歷所有的圖片地址,傳入到下載函數中下載圖片
    for url in pic_urls:
        #n:待參數1:圖片的名稱
        n+=1
        print("正在下載第{}張圖片".format(n))
        #上鎖
        thread_lock.acquire()
        #url:待傳入的參數2
        t = threading.Thread(target=download_pics,args=(url,n))
        t.start()

main("帥哥")

            
          

Python爬取堆糖帥哥照片_第1張圖片

Python爬取堆糖帥哥照片_第2張圖片


更多文章、技術交流、商務合作、聯系博主

微信掃碼或搜索:z360901061

微信掃一掃加我為好友

QQ號聯系: 360901061

您的支持是博主寫作最大的動力,如果您喜歡我的文章,感覺我的文章對您有幫助,請用微信掃描下面二維碼支持博主2元、5元、10元、20元等您想捐的金額吧,狠狠點擊下面給點支持吧,站長非常感激您!手機微信長按不能支付解決辦法:請將微信支付二維碼保存到相冊,切換到微信,然后點擊微信右上角掃一掃功能,選擇支付二維碼完成支付。

【本文對您有幫助就好】

您的支持是博主寫作最大的動力,如果您喜歡我的文章,感覺我的文章對您有幫助,請用微信掃描上面二維碼支持博主2元、5元、10元、自定義金額等您想捐的金額吧,站長會非常 感謝您的哦!!!

發表我的評論
最新評論 總共0條評論
主站蜘蛛池模板: 黄石市| 都安| 彩票| 马鞍山市| 武汉市| 德令哈市| 从化市| 德格县| 廊坊市| 北京市| 霍林郭勒市| 富宁县| 玛曲县| 运城市| 凌海市| 贡觉县| 青神县| 澄迈县| 大埔县| 衡南县| 德安县| 武清区| 大渡口区| 犍为县| 河津市| 吴江市| 武汉市| 会宁县| 彭泽县| 关岭| 睢宁县| 无棣县| 富裕县| 城口县| 哈密市| 漳浦县| 云浮市| 年辖:市辖区| 周宁县| 塔河县| 承德市|