介紹

aiohttp是python的一個(gè)異步網(wǎng)絡(luò)模塊，包含客戶(hù)端和服務(wù)端模塊。
相比requests模塊，除了是異步寫(xiě)法外，大同小異，其速度比requests模塊快。
python的多線程有全局解釋器鎖(GIL)，使用多線程實(shí)際上同一時(shí)刻僅有一個(gè)線程在執(zhí)行，使用協(xié)程的相對(duì)比較快，可以再配合多進(jìn)程使用。

基本用法

安裝

使用pip命令安裝即可。 pip install aiohttp

發(fā)起請(qǐng)求

aiohttp 模塊需要配合python 自帶的 asyncio 模塊使用，以下代碼為發(fā)起客戶(hù)端發(fā)起一個(gè)get請(qǐng)求。

            
              # _*_ coding:utf8_*_
import asyncio
import aiohttp


async def fetch(session, url):
    """
    獲取網(wǎng)頁(yè)html代碼
    :param session:
    :param url:
    :return:
    """
    async with session.get(url) as response:
        return await response.text()


async def main():
    """
    :return:
    """
    async with aiohttp.ClientSession() as session:
        html = await fetch(session, "http://blog.fenlanli.com")
        print(html)


if __name__ == '__main__':
    loop = asyncio.get_event_loop()
    loop.run_until_complete(main())

            
          

其他http請(qǐng)求方法均有提供方便使用的函數(shù):

            
                  url = ""
    session.put(url, data='data')
    session.delete(url)
    session.head(url)
    session.patch(url, data='data')
    session.post(url, data='data')

            
          

還提供了一個(gè)request函數(shù)，可以動(dòng)態(tài)的選擇請(qǐng)求方式。

            
              session.request('get', url, data={'key': 'val'})

            
          

參數(shù)傳遞

get方法

跟requests模塊中的GET請(qǐng)求傳參數(shù)是一樣的。

            
                  params = {'key': 'value'}
    async with session.get(url, params=params) as response:
        return await response.text()

            
          

post方法

提交文本數(shù)據(jù):

            
              async def post_data(session, url):
    """
    提交數(shù)據(jù)
    :param session:
    :param url:
    :return:
    """
    data = 'data'
    async with session.post(url, data=data) as response:
        return await response.text()

            
          

提交json數(shù)據(jù):

            
              async def fetch(session, url):
    """
    提交數(shù)據(jù)
    :param session:
    :param url:
    :return:
    """
    data = {'key': 'val'}
    async with session.post(url, json=data) as response:
        return await response.text()

            
          

獲取返回值

一般常用的是獲取文本內(nèi)容或者json數(shù)據(jù)。
獲取文本數(shù)據(jù):

            
              async with session.post(url, json=data) as response:
       return await response.json()

            
          

獲取json數(shù)據(jù):

            
              async with session.post(url, json=data) as response:
       return await response.json()

            
          

自定義請(qǐng)求頭

設(shè)置session的cookies參數(shù)即可:

            
              async def fetch(session, url):
    """
    提交數(shù)據(jù)
    :param session:
    :param url:
    :return:
    """
    headers = {
        'User-Agent': 'User-Agent'
    }
    async with session.get(url, headers=headers) as response:
        return await response.text()

            
          

設(shè)置cookies

設(shè)置session的參數(shù)cookies即可:

            
              async def fetch(session, url):
    """
    提交數(shù)據(jù)
    :param session:
    :param url:
    :return:
    """
    cookies = {'cookies_are': 'working'}
    async with session.get(url, cookies=cookies) as response:
        return await response.text()

            
          

使用代理

設(shè)置session的參數(shù)proxy即可:

            
              async def fetch(session, url):
    """
    提交數(shù)據(jù)
    :param session:
    :param url:
    :return:
    """
    proxy = "http://my.proxy.cn"
    async with aiohttp.ClientSession() as session:
        async with session.get(url, proxy=proxy) as resp:
            print(resp.status)


            
          

至此，對(duì)于普通網(wǎng)站的爬蟲(chóng)基本夠用了。

個(gè)人博客