游標(biāo)查詢

          
            scroll查詢，可以用于對 Elasticsearch 有效地執(zhí)行大批量的文檔查詢，而又不用付出深度分頁那種代價。
scroll查詢可以分為以下兩個步驟。


          
        

啟動游標(biāo)查詢

          
            GET /host/_search?scroll=1m
          
        

其中的 scroll=1m 表示游標(biāo)查詢窗口保持1分鐘，如果一次取的數(shù)據(jù)量大可以設(shè)置為一個大一些的時間。
返回的字段中包含一個 scroll_id , 接下來用這個字段可以獲取后續(xù)值。

循環(huán)獲取

循環(huán)獲取余下的值

          
            GET /_search/scroll
{
    "scroll": "1m", 
    "scroll_id" : scroll_id
}
          
        

通過上一步得到的 scroll_id ，獲取余下的值。

完整代碼

用Python獲取所有數(shù)據(jù)的完整代碼如下

          
            def get_all_es_data(url):
    # 過濾的query
    query = {}
    data = []
    # 每次取的數(shù)據(jù)量
    size = 10000
    scroll_id = None
    try:
        while size == 10000:
            if not scroll_id:
                query["size"] = 10000
                curr_url = url + '/_search?scroll=8m'
                response = requests.post(curr_url, json.dumps(query), headers={'content-type': 'application/json'})
            else:
                curr_url = url + '_search/scroll?scroll=8m&scroll_id=' + scroll_id
                response = requests.get(curr_url)
            if response:
                response = json.loads(response.text)
                scroll_id = response['_scroll_id']
                response_data = [doc["_source"] for doc in response['hits']['hits']]
                data.extend(response_data)
    except Exception as err:
        pass