Python从Elasticsearch获取数据并输出.csv文件(附完整代码)

原创

于 2021-07-06 13:25:06 发布 · 828 阅读

1 ·

CC 4.0 BY-SA版权

文章标签：

#python #elasticsearch #csv

该博客介绍了如何使用Python的Elasticsearch库连接到ES服务器，执行查询，并将结果批量写入CSV文件。文章中展示了读取配置文件、设置查询条件、处理中文编码问题及文件追加写入的详细步骤。示例代码处理了当查询结果偏移量大于10000时的特殊情况，并提供了完整的Elasticsearch查询JSON结构。

# 由于ES限制, 当偏移量>10000时需要特殊处理, 此处略

pip install elasticsearch==6.3.1

from elasticsearch import Elasticsearch
from elasticsearch.helpers import bulk
import csv
import os
import sys
import datetime
import json

# 解决写入文件时中文编码问题
# reload(sys)
# sys.setdefaultencoding('utf-8')

# 存储列名称的list
columnList = []
# 存储value的list
valueList = []


# 获取ES配置json文件
with open('./configs/config.json') as data_file:
    data = json.load(data_file)
    es = Elasticsearch([data[0]["EsHost"]])
    indexName = data[0]["EsIndex"]
    EsBody=data[1]
    print(data[0]['columns'])
    for column in data[0]["columns"]:
        # print(column)
        for col in column:
            # print(column[col])
            columnList.append(column[col])