python对es数据库使用bulk批量更新文档某字段的值

最新推荐文章于 2024-07-17 15:49:33 发布

原创最新推荐文章于 2024-07-17 15:49:33 发布 · 2.5k 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#python #elasticsearch #bulk

Python 同时被 2 个专栏收录

25 篇文章

订阅专栏

ElasticSearch

1 篇文章

订阅专栏

该代码示例展示了如何批量写入JSON数据到Elasticsearch数据库，通过设置步长（如2000）来分批插入，以减少一次性大量写入带来的压力。在每个批次中，先获取_id，然后删除 '_id' 字段，最后使用`helpers.bulk`进行批量操作。这种方法确保了即使数据量大，也能稳定且有效地写入。

""" 批量写入数据 """
    # 按照步长分批插入数据库,缓解插入数据库时的压力
    length = len(json_list)
    step = 2000# 步长为2000,缓解批量写入的压力
    for i in range(0, length, step):
        if i + step < length:# 要写入的数据长度大于步长，那么久分批写入
            actions = []
            for j in range(i, i + step):
                new_id = json_list[j]['_id']# 先把导入时添加的"_id"的值取出来
                del json_list[j]["_id"]  # 要删除导入时添加的"_id"
                action = {
                    "_index": str(index_name),
                    "_id": str(new_id),
                    "_source": json_list[j]
                }
                actions.append(action)
            helpers.bulk(Es, actions, request_timeout=120)
        else:# 要写入的数据小于步长，那么久一次性写入
            actions = []
            for j in range(i, length):
                new_id = json_list[j]['_id']# 先把导入时添加的"_id"的值取出来
                del json_list[j]["_id"]  # 要删除导入时添加的"_id"
                action = {
                    "_index": str(index_name),
                    "_id": str(new_id),
                    "_source": json_list[j]
                }
                actions.append(action)
            helpers.bulk(Es, actions, request_timeout=120)