python2和python3對(duì)于字符串的處理有很大的區(qū)別

熟悉了python2的寫法用python3時(shí)真的會(huì)遇到很多問題啊……

區(qū)別

python2中有一種類型叫做unicode型，例

            
type(u"a") => str型
type("a".decode('utf8')) => unicode型
          

兩者返回的類型都是unicode型

而在python3中，所有的字符串都是unicode，所以就不存在單獨(dú)的unicode型，全部都是字符串型

            
type(u"a") => str型
type("a".decode('utf8')) => 報(bào)錯(cuò)，python3不能這樣寫
          

但是python3中多處一種字符串

            
type(b'132') => byte型
          

而在python2中這樣寫就會(huì)報(bào)錯(cuò)

所以顯而易見，decode和encode的使用也會(huì)有很大的區(qū)別

python2中的decode是將str型轉(zhuǎn)換為unicode型

python3中的decode是將byte型轉(zhuǎn)換為str型

使用

在使用python3寫爬蟲時(shí)，有時(shí)候會(huì)遇到這樣的錯(cuò)誤

'gbk' codec can't encode character '\u30fb' in position 0: illegal multibyte sequence

遇到這樣的錯(cuò)誤就和上面的編碼問題連系起來了

你會(huì)發(fā)現(xiàn)，明明自己設(shè)置的編碼是utf8，怎么會(huì)報(bào)一個(gè)gbk的錯(cuò)誤？？

這個(gè)問題可能會(huì)在兩個(gè)地方出現(xiàn)(輸出時(shí)，寫入文件時(shí))，其實(shí)這里設(shè)置的編碼并沒有問題，問題出在python3的字符串中，像上面說的，python3默認(rèn)所有字符串都是unicode型，在面對(duì)字符串時(shí)，會(huì)首先按照unicode解析，自然會(huì)報(bào)錯(cuò)

那么，我們來轉(zhuǎn)換一下編碼(假設(shè)a是一個(gè)gbk編碼的數(shù)據(jù)流)

            
"a".decode('gbk')
          

將字符串按照gbk規(guī)則解碼

會(huì)發(fā)現(xiàn)依舊報(bào)錯(cuò)，明明已經(jīng)改為gbk了啊……不著急，再進(jìn)行一次

            
"a".decode('gbk').encode('utf8').decode('utf8')
          

為什么寫的這么長……就像上面說的，decode是將byte型轉(zhuǎn)為str型，而encode是將str型轉(zhuǎn)換為byte型，所以再進(jìn)行一次encode，decode就能夠使得字符串轉(zhuǎn)換編碼格式

但是當(dāng)你輸出時(shí)，你會(huì)發(fā)現(xiàn)還是有問題

解決

我們回到開始

不輸出我們想要的字符串，發(fā)現(xiàn)沒有問題……問題出在哪？

沒錯(cuò)，是print()，print在輸出時(shí)會(huì)默認(rèn)其中的字符時(shí)unicode編碼的字符串，而我們輸入了一個(gè)gbk編碼的字符串，所以就會(huì)出錯(cuò)，所以，解決方法就是，不使用print……

但是print的使用有時(shí)候是不可避免的，所以在decode時(shí)加上一個(gè)ignore

            
"a".decode('gbk',errors='ignore')
          

此外，在打開或?qū)懭胛募r(shí)遇到的話，就需要加上encoding參數(shù)

            
with open("1.txt",'r',encoding='utf8') as a:
          

以上就是本文的全部內(nèi)容，希望對(duì)大家的學(xué)習(xí)有所幫助，也希望大家多多支持腳本之家。