python 读取elasticsearch数据

luoganttcc

于 2021-10-18 18:26:39 发布

阅读量492

点赞数

CC 4.0 BY-SA版权

分类专栏： elasticsearch 文章标签： elasticsearch python

本文链接：https://blog.youkuaiyun.com/luoganttcc/article/details/120831770

elasticsearch 专栏收录该内容

13 篇文章

订阅专栏

该博客展示了如何利用Python的Elasticsearch库进行大规模数据检索。通过设置查询参数和滚动滚动ID，实现了对'goods'索引中10000条数据的分批获取。博客内容涉及到了Elasticsearch的搜索、滚动和结果聚合，适用于需要处理大量数据的场景。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

from elasticsearch import Elasticsearch


es = Elasticsearch(['x.x.x.x'], timeout=36000)

body1 = {"size": 10000,
             "query": {"match_all": {}}}

res1 = es.search(index="goods",scroll='5m', body=body1)


print('#############################################3')
# print(count)

es_size = 1000
page=res1
total_hits=page['hits']['total'] # total es requests for this query - int
total_requests=int(total_hits['value']/es_size +1) # int
es_scroll_id = page['_scroll_id'] # first es return index - string
es_result=page['hits']['hits'] #first es return context

for i in range(0, total_requests):
   page_scroll=es.scroll(scroll_id=es_scroll_id, scroll='30s')['hits']['hits']
   print(page_scroll)
   es_result += page_scroll