1.Request庫(kù)

Request庫(kù)有七個(gè)基本方法：

首先以requests庫(kù)的request方法進(jìn)行講解：

其次，以其中典型的get方法進(jìn)行說(shuō)明：

1.

            
              r=requests.get(url)
            
          

首先get構(gòu)造一個(gè)向服務(wù)器請(qǐng)求資源的 Request對(duì)象 ，r是一個(gè)返回的一個(gè)包括服務(wù)器資的 Response對(duì)象 。

2.

            
              r=requests.get(url,params=None,**kwargs)
            
          

params:url中的額外參數(shù)，字典或者字節(jié)流格式...可以修改url內(nèi)容

**kwargs是12個(gè)可以控制的參數(shù)：

特別指出，headers是一個(gè)字典，可以修改http頭，比如有些網(wǎng)站禁止爬蟲(chóng)使用，我們可以修改user-agent：

            
              hd = {'user‐agent': 'Chrome/10'}
r = requests.request('POST', 'http://python123.io/ws', headers=hd)
            
          

其余6中與get類(lèi)似。

最后，是Request的標(biāo)準(zhǔn)模板：

            
              try:
		r=requests.get(url)
		r.raise_for_status
		r.encoding=r.apparent_encoding
		return r.text
	except:
		return  ""
            
          

2.Beautiful Soup庫(kù)

Beautiful Soup庫(kù)是解析、遍歷、維護(hù)“標(biāo)簽樹(shù)”的功能庫(kù)。

1.首先，三種遍歷方式：下行遍歷、上行遍歷，平行遍歷。

（平行遍歷發(fā)生在同一個(gè)父節(jié)點(diǎn)下的各節(jié)點(diǎn)間。）(復(fù)數(shù)的都是迭代變量，用在for循環(huán)中）

使用方法：

            
              from bs4 import BeautifulSoup
import bs4
soup=BeautifulSoup(html,"html.parser")#soup則為返回的html內(nèi)容
soup.prettify()#為html文本增加‘\n’使得看起來(lái)更好看一些
            
          

find方法：

            
              soup.find_all(name, attrs, recursive, string, **kwargs)
            
          

3.正則表達(dá)式（RE）

正則表達(dá)式的表示類(lèi)型是raw string：表示為r'text'。raw string是不包括對(duì)轉(zhuǎn)義符再次轉(zhuǎn)義的字符串。就是使用\d的時(shí)候，\不需要寫(xiě)成\\表示轉(zhuǎn)義。

?

?

?

Re庫(kù)默認(rèn)貪婪匹配，即輸出匹配最長(zhǎng)的子串。但是存在多種匹配，都可以在操作符后面加？變成最小匹配。

?