日韩久久久精品,亚洲精品久久久久久久久久久,亚洲欧美一区二区三区国产精品 ,一区二区福利

python爬蟲 基于requests模塊發起ajax的get請求實現解析

系統 2132 0

基于requests模塊發起ajax的get請求

需求:爬取豆瓣電影分類排行榜 https://movie.douban.com/中的電影詳情數據

用抓包工具捉取 使用ajax加載頁面的請求

python爬蟲 基于requests模塊發起ajax的get請求實現解析_第1張圖片

python爬蟲 基于requests模塊發起ajax的get請求實現解析_第2張圖片

鼠標往下下滾輪拖動頁面,會加載更多的電影信息,這個局部刷新是當前頁面發起的ajax請求,

用抓包工具捉取頁面刷新的ajax的get請求,捉取滾輪在最底部時候發起的請求

這個get請求是本次發起的請求的url

python爬蟲 基于requests模塊發起ajax的get請求實現解析_第3張圖片

ajax的get請求攜帶參數

python爬蟲 基于requests模塊發起ajax的get請求實現解析_第4張圖片

獲取響應內容不再是頁面數據,是json字符串,是通過異步請求獲取的電影詳情信息

start和limit參數 需要注意,改變這兩個參數獲取的電影詳情不一樣

            
import requests
import json
# 指定ajax-get請求的url(通過抓包進行獲取)
url = 'https://movie.douban.com/j/chart/top_list?'
# 封裝ajax的get請求攜帶的參數(從抓包工具中獲取) 封裝到字典
param = {
  'type': '13',
  'interval_id': '100:90',
  'action': '',
  'start': '20', # 從第20個電影開始獲取詳情
  'limit': '20', # 獲取多少個電影詳情
  # 改變這兩個參數獲取的電影詳情不一樣
}
# 定制請求頭信息,相關的頭信息必須封裝在字典結構中
headers = {
  'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/66.0.3359.181 Safari/537.36',
}
# 發起ajax的get請求還是用get方法
response = requests.get(url=url,params=param,headers=headers)

# 獲取響應內容:響應內容為json字符串
data = response.text
data = json.loads(data)
for data_dict in data:
  print(data_dict["rank"],data_dict["title"])

'''
芙蓉鎮
沉靜如海
淘金記
馬戲團
情迷意亂
士兵之歌
戰爭與和平
怦然心動
大話西游之月光寶盒
羅馬假日
音樂之聲
一一
雨中曲
我愛你
莫娣
卡比利亞之夜
婚姻生活
本杰明?巴頓奇事
情書
春光乍泄
'''
          

從21個電影開始獲取信息,總共獲取20個電影詳情信息

以上就是本文的全部內容,希望對大家的學習有所幫助,也希望大家多多支持腳本之家。


更多文章、技術交流、商務合作、聯系博主

微信掃碼或搜索:z360901061

微信掃一掃加我為好友

QQ號聯系: 360901061

您的支持是博主寫作最大的動力,如果您喜歡我的文章,感覺我的文章對您有幫助,請用微信掃描下面二維碼支持博主2元、5元、10元、20元等您想捐的金額吧,狠狠點擊下面給點支持吧,站長非常感激您!手機微信長按不能支付解決辦法:請將微信支付二維碼保存到相冊,切換到微信,然后點擊微信右上角掃一掃功能,選擇支付二維碼完成支付。

【本文對您有幫助就好】

您的支持是博主寫作最大的動力,如果您喜歡我的文章,感覺我的文章對您有幫助,請用微信掃描上面二維碼支持博主2元、5元、10元、自定義金額等您想捐的金額吧,站長會非常 感謝您的哦!!!

發表我的評論
最新評論 總共0條評論
主站蜘蛛池模板: 即墨市| 天全县| 扎鲁特旗| 温州市| 宁河县| 建宁县| 旬阳县| 洪江市| 资溪县| 松溪县| 句容市| 延边| 兖州市| 桐庐县| 慈利县| 东辽县| 恩平市| 柯坪县| 宝应县| 鹤壁市| 龙陵县| 江源县| 抚松县| 鱼台县| 修武县| 洪江市| 阳谷县| 南雄市| 莒南县| 项城市| 太和县| 宜阳县| 常山县| 大名县| 饶阳县| 府谷县| 陆川县| 青田县| 墨脱县| 旺苍县| 聊城市|