日韩久久久精品,亚洲精品久久久久久久久久久,亚洲欧美一区二区三区国产精品 ,一区二区福利

python爬蟲 模擬登錄人人網(wǎng)過程解析

系統(tǒng) 1664 0

requests 提供了一個(gè)叫做session類,來實(shí)現(xiàn)客戶端和服務(wù)端的會(huì)話保持

使用方法

1.實(shí)例化一個(gè)session對(duì)象

2.讓session發(fā)送get或者post請(qǐng)求

            
session = requests.session()
session.get(url,headers)
          

下面就用人人網(wǎng)來實(shí)戰(zhàn)一下

            
# coding=utf-8
import requests
session = requests.session()
# 登錄的表單url
post_url = "http://www.renren.com/PLogin.do"
post_data = {"email": "your_email", "password": "your_password"}
headers = {
  "User-Agent": "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_13_2) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.84 Safari/537.36"
}
# 使用session發(fā)送post請(qǐng)求,cookie保存在其中
session.post(post_url, data=post_data, headers=headers)
# 在使用session進(jìn)行請(qǐng)求登陸之后才能訪問的地址
# 這是個(gè)人首頁url
r = session.get("http://www.renren.com/327550088/profile", headers=headers)
# 保存頁面到本地
with open("renren1.html", "w", encoding="utf-8") as f:
  f.write(r.content.decode('utf-8'))
          

就這么簡單,模擬登錄上人人網(wǎng)并且獲取了個(gè)人首頁信息頁面保存到本地。

其實(shí)網(wǎng)站記錄登錄狀態(tài)就是通過cookie里面攜帶的信息,如果我們發(fā)送請(qǐng)求的時(shí)候帶上登錄的cookie能不能夠訪問到只有登錄才能訪問的頁面,當(dāng)然是可以的

請(qǐng)看代碼

            
# coding=utf-8
import requests
headers = {
  "User-Agent": "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_13_2) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.84 Safari/537.36",
  "Cookie":"你的登錄cookie"
}
r = requests.get("http://www.renren.com/327550088/profile",headers=headers)
#保存頁面
with open("renren2.html","w",encoding="utf-8") as f:
  f.write(r.content.decode())
          

可以看到, Cookie 可以放在 headers 中,其實(shí) requests 中也有一個(gè)參數(shù)用來傳遞cookie,這個(gè)參數(shù)就是 cookies

請(qǐng)看代碼

            
# 字典生成器的用法
cookies = {i.split("=")[0]:i.split("=")[1] for i in cookies.split("; ")}
print(cookies)
r = requests.get("http://www.renren.com/327550088/profile",headers=headers,cookies=cookies)
          

以上就是本文的全部內(nèi)容,希望對(duì)大家的學(xué)習(xí)有所幫助,也希望大家多多支持腳本之家。


更多文章、技術(shù)交流、商務(wù)合作、聯(lián)系博主

微信掃碼或搜索:z360901061

微信掃一掃加我為好友

QQ號(hào)聯(lián)系: 360901061

您的支持是博主寫作最大的動(dòng)力,如果您喜歡我的文章,感覺我的文章對(duì)您有幫助,請(qǐng)用微信掃描下面二維碼支持博主2元、5元、10元、20元等您想捐的金額吧,狠狠點(diǎn)擊下面給點(diǎn)支持吧,站長非常感激您!手機(jī)微信長按不能支付解決辦法:請(qǐng)將微信支付二維碼保存到相冊(cè),切換到微信,然后點(diǎn)擊微信右上角掃一掃功能,選擇支付二維碼完成支付。

【本文對(duì)您有幫助就好】

您的支持是博主寫作最大的動(dòng)力,如果您喜歡我的文章,感覺我的文章對(duì)您有幫助,請(qǐng)用微信掃描上面二維碼支持博主2元、5元、10元、自定義金額等您想捐的金額吧,站長會(huì)非常 感謝您的哦!!!

發(fā)表我的評(píng)論
最新評(píng)論 總共0條評(píng)論
主站蜘蛛池模板: 弋阳县| 云梦县| 贺州市| 赤水市| 房山区| 临朐县| 奎屯市| 伊金霍洛旗| 绥化市| 辽中县| 临西县| 肥东县| 东乌珠穆沁旗| 新津县| 宜宾市| 大荔县| 长沙市| 鸡西市| 沿河| 西平县| 板桥市| 峨眉山市| 芜湖市| 廉江市| 页游| 溆浦县| 阆中市| 墨竹工卡县| 余干县| 宜昌市| 曲松县| 佛教| 河东区| 东阿县| 吉首市| 鸡西市| 榆社县| 襄垣县| 青海省| 二手房| 遂溪县|