ES5-批量操作

最新推荐文章于 2025-06-02 09:03:38 发布

weixin_34362875

最新推荐文章于 2025-06-02 09:03:38 发布

阅读量479

点赞数

CC 4.0 BY-SA版权

文章标签： python json 大数据

原文链接：https://my.oschina.net/u/3100849/blog/1838992

本文介绍了Elasticsearch中的批量操作机制Bulk API，包括批量索引、删除和更新等操作。详细阐述了批量操作的执行流程及请求体格式，并通过具体实例展示了如何使用Bulk API进行文档管理。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

2019独角兽企业重金招聘Python工程师标准>>>

1.批量操作流程

ElasticSearch提供了文档的批量操作机制Bulk API，可以执行批量索引、批量删除、批量更新等操作，也就是说Bulk API允许使用在单个步骤中进行多次 create 、 index 、 update 或 delete 请求。

操作流程如上图所示：

1.客户端向 Node 1 发送 bulk 请求。node1计算请求中每个文档需要到哪个主分区上面执行。

2.Node 1 为每个节点创建一个批量请求，并将这些请求并行转发到每个包含主分片的节点主机。

3.主分片一个接一个按顺序执行每个操作。当每个操作成功时，主分片并行转发新文档（或删除）到副本分片，然后执行下一个操作。一旦所有的副本分片报告所有操作成功，该节点将向协调节点报告成功，协调节点将这些响应收集整理并返回给客户端。

2.批量操作格式

bulk api与其他请求体格式不同：

{ action: { metadata }}\n
{ request body        }\n
{ action: { metadata }}\n
{ request body        }\n

它是由多个单独的请求操作类型和请求内容共同组成的一个请求体。每个操作类型后面紧跟的就是该操作的请求体内容。每一行都需要用\n结尾，在ElasticReach里面就是通过\n作为分割来解析bulk API的请求体的。

每行一定要以换行符(\n)结尾，包括最后一行。这些换行符被用作一个标记，可以有效分隔行。
这些行不能包含未转义的换行符，因为他们将会对解析造成干扰。这意味着这个 JSON 不能使用 pretty 参数打印。
action/metadata 行指定哪一个文档做什么操作。metadata 应该指定被索引、创建、更新或者删除的文档的 _index 、 _type 和 _id 。
request body 行由文档的 _source 本身组成–文档包含的字段和值。它是 index 和 create 操作所必需的。
需要注意 delete 动作不能有请求体,它后面跟着的是另外一个操作

3.实例讲解

POST /_bulk
{"delete":{"_index":"sfpay_log","_type":"waf","_id":"1"}}
{"create":{"_index":"sfpay_log","_type":"waf","_id":"1"}}
{"eventName":"枚举类型爆破测试","title":"this is a bbtest","device":"0004"}
{"index":{"_index":"sfpay_log","_type":"waf"}}
{"eventName":"索引测试文档","title":"this is a testccc"}
{"update":{"_index":"sfpay_log","_type":"waf","_id":"2","_retry_on_conflict":3}}
{"doc":{"eventName":"更新测试"}}

执行结果：返回的结果集和请求体中每一个请求操作都有按顺序对应的响应结果。

#! Deprecation: Deprecated field [_retry_on_conflict] used, expected [retry_on_conflict] instead
{
  "took": 49,
  "errors": false,
  "items": [
    {
      "delete": {
        "_index": "sfpay_log",
        "_type": "waf",
        "_id": "1",
        "_version": 8,
        "result": "deleted",
        "_shards": {
          "total": 2,
          "successful": 2,
          "failed": 0
        },
        "_seq_no": 7,
        "_primary_term": 3,
        "status": 200
      }
    },
    {
      "create": {
        "_index": "sfpay_log",
        "_type": "waf",
        "_id": "1",
        "_version": 9,
        "result": "created",
        "_shards": {
          "total": 2,
          "successful": 2,
          "failed": 0
        },
        "_seq_no": 8,
        "_primary_term": 3,
        "status": 201
      }
    },
    {
      "index": {
        "_index": "sfpay_log",
        "_type": "waf",
        "_id": "ACrUWmQBt6c7eh0rttzY",
        "_version": 1,
        "result": "created",
        "_shards": {
          "total": 2,
          "successful": 2,
          "failed": 0
        },
        "_seq_no": 10,
        "_primary_term": 3,
        "status": 201
      }
    },
    {
      "update": {
        "_index": "sfpay_log",
        "_type": "waf",
        "_id": "2",
        "_version": 3,
        "result": "updated",
        "_shards": {
          "total": 2,
          "successful": 2,
          "failed": 0
        },
        "_seq_no": 2,
        "_primary_term": 3,
        "status": 200
      }
    }
  ]
}

转载于:https://my.oschina.net/u/3100849/blog/1838992