我們?cè)趐ython爬蟲(chóng)寫(xiě)腳本時(shí)，往往會(huì)遇到些問(wèn)題，小編前幾天也遇到了個(gè)小問(wèn)題。在這里想跟大家分享下，以免大家走更多的彎路
列如我要去有道翻譯，去爬取我們自己所翻譯的東西。

            
              import urllib.request
import urllib.parse

url='http://fanyi.youdao.com/translate?smartresult=dict&smartresult=rule'
headers={"User-Agent":"Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/65.0.3325.162 Safari/537.36"}
formdata={
"i":" 加油",
"from":" AUTO",
"to": "AUTO",
"smartresult":"dict",
"client": "fanyideskweb",
"salt":" 15687710834733",
"sign": "d0b955f562cc4dfa3d33448f438b09b1",
"ts": "1568771083473",
"bv": "53850875da92527c18a78e804f4c65b4",
"doctype":"json",
"version":" 2.1",
"keyfrom": "fanyi.web",
"action":" FY_BY_CLICKBUTTION",
"typoResult": "true"}
data=bytes(urllib.parse.urlencode(formdata).encode('utf-8'))
request=urllib.request.Request(url,data=data,headers=headers)
response=urllib.request.urlopen(request)
print(response.read().decode('utf-8'))


            
          

腳本其實(shí)大家都會(huì)，但是隨著腳本和反爬蟲(chóng)的機(jī)制也在更新。
問(wèn)題1，大家寫(xiě)完腳本會(huì)出現(xiàn) {"errorCode":50} 這樣的錯(cuò)誤。原因是我們給的 Request URL: http://fanyi.youdao.com/translate_o?smartresult=dict&smartresult=rule
只需要將改成 Request URL: http://fanyi.youdao.com/translate?smartresult=dict&smartresult=rule 即可解決
問(wèn)題2，有的同學(xué)看質(zhì)料上寫(xiě)，會(huì)出現(xiàn)以下類(lèi)似問(wèn)題。

其實(shí)，你寫(xiě)的代碼根本就沒(méi)有這么多，但它給我報(bào)錯(cuò)以下多少多少行出錯(cuò)。這個(gè)問(wèn)題大多數(shù)都是那個(gè)地方少標(biāo)識(shí)符
還是以上題為列

            
              headers={"User-Agent:Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/65.0.3325.162 Safari/537.36"}

            
          

改成

            
              headers={"User-Agent":"Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/65.0.3325.162 Safari/537.36"}

            
          

如果你用Chrome瀏覽器，點(diǎn)擊右鍵“檢查", 再點(diǎn)擊"network", 你就會(huì)發(fā)現(xiàn)真正處理翻譯并返回翻譯結(jié)果的url是http://fanyi.youdao.com/translate?smartresult=dict&smartresult=rule。你還會(huì)了解發(fā)送請(qǐng)求的方式是POST，返回的相應(yīng)數(shù)據(jù)是JSON格式。如果請(qǐng)求方式是POST，我們一定還要了解POST什么數(shù)據(jù)，服務(wù)器才會(huì)返回正確的響應(yīng)(Response)。
如果你繼續(xù)下拉Headers頁(yè)面，你就會(huì)發(fā)現(xiàn)需要POST的數(shù)據(jù)Form Data里不僅包含了我們需要翻譯的詞(i), 還包括其它加密用的salt和簽名字符串sign。我們?cè)谡?qǐng)求里必需把這些data加進(jìn)去，有道才會(huì)返回翻譯結(jié)果。這就是明顯的反爬機(jī)制啊。當(dāng)然高人無(wú)處不在，弄清了salt和sign的生成原理，就可以輕易破解有道的反爬機(jī)制了。