python3查询es数据并导出csv

最新推荐文章于 2024-05-28 09:46:39 发布

原创最新推荐文章于 2024-05-28 09:46:39 发布 · 1.3k 阅读

6 ·

CC 4.0 BY-SA版权

文章标签：

#python #elasticsearch #es #csv

python 专栏收录该内容

4 篇文章

订阅专栏

这段代码演示了如何使用Python的Elasticsearch库查询Elasticsearch数据库，并将所有查询结果导出到CSV文件。首先，它连接到指定的ES节点，然后执行一个搜索查询（这里查询名字为'张三'的数据），通过滚动API获取所有数据。最后，将每个文档的_id和name字段写入CSV文件。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

python3查询es数据并导出csv

代码展示

代码展示

from elasticsearch import Elasticsearch
import csv
# 获取es数据库
ES = [
    'http://192.168.1.111:9200'
]
es = Elasticsearch(ES)
'''
    查询所有数据并导出
'''
def ExportCsv():
    body = {
      # "query": {
      #   "match": {"name": "张三"},
      # }
    }
    query = es.search(index='lagou',body=body,scroll='5m',size=1000)
    # es查询出的结果第一页
    results = query['hits']['hits']
    # es查询出的结果总量
    total = query['hits']['total']["value"]
    # 游标用于输出es查询出的所有结果
    scroll_id = query['_scroll_id']

    for i in range(0, int(total/100)+1):
        # scroll参数必须指定否则会报错
        query_scroll = es.scroll(scroll_id=scroll_id,scroll='5m')['hits']['hits']
        results += query_scroll

    with open('./test.csv', 'w', newline='', encoding="utf_8_sig") as flow:
        csv_writer = csv.writer(flow)
        for res in results:
            csvrow1=[]
            csvrow1.append( res['_id'] )
            csvrow1.append( res["_source"]['name'] )
            csv_writer.writerow(csvrow1)
    print('done!')

ExportCsv()