elasticsearch _bulk api

https://www.elastic.co/guide/cn/elasticsearch/guide/current/bulk.html
bulk API 允许在单个步骤中进行多次 create 、 index 、 update 或 delete 请求。
bulk 与其他的请求体格式稍有不同,如下所示:
{ action: { metadata }}\n
{ request body }\n
{ action: { metadata }}\n
{ request body }\n
...
这种格式类似一个有效的单行 JSON 文档 流 ,它通过换行符(\n)连接到一起。注意两个要点:
每行一定要以换行符(\n)结尾, 包括最后一行 。这些换行符被用作一个标记,可以有效分隔行。
这些行不能包含未转义的换行符,因为他们将会对解析造成干扰。这意味着这个 JSON 不 能使用 pretty 参数打印。

action/metadata 行指定 哪一个文档 做 什么操作 。
action 必须是以下选项之一:
create
如果文档不存在,那么就创建它。详情请见 创建新文档。
index
创建一个新文档或者替换一个现有的文档。详情请见 索引文档 和 更新整个文档。
update
部分更新一个文档。详情请见 文档的部分更新。
delete
删除一个文档。详情请见 删除文档。
metadata 应该 指定被索引、创建、更新或者删除的文档的 _index 、 _type 和 _id 。
例如,一个 delete 请求看起来是这样的:
{ "delete": { "_index": "website", "_type": "blog", "_id": "123" }}
一个create 请求,如果不指定 _id ,将会自动生成一个 ID ::
{ "create": { "_index": "website", "_type": "blog", "_id": "123" }}
{ "title": "My first blog post" }
一个update请求
{ "update": { "_index": "website", "_type": "blog", "_id": "123"} }
{ "doc" : {"title" : "My updated blog post"} }
一个index请求
{ "index": { "_index": "website", "_type": "blog", "_id": "123" }}
{ "title": "But we can update it" }

每个子请求都是独立执行,因此某个子请求的失败不会对其他子请求的成功与否造成影响。 如果其中任何子请求失败,最顶层的 error 标志被设置为 true ,并且在相应的请求报告出错误明细:

多大是太大了?
整个批量请求都需要由接收到请求的节点加载到内存中,因此该请求越大,其他请求所能获得的内存就越少。 批量请求的大小有一个最佳值,大于这个值,性能将不再提升,甚至会下降。 但是最佳值不是一个固定的值。它完全取决于硬件、文档的大小和复杂度、索引和搜索的负载的整体情况。
幸运的是,很容易找到这个 最佳点 :通过批量索引典型文档,并不断增加批量大小进行尝试。 当性能开始下降,那么你的批量大小就太大了。一个好的办法是开始时将 1,000 到 5,000 个文档作为一个批次, 如果你的文档非常大,那么就减少批量的文档个数。
密切关注你的批量请求的物理大小往往非常有用,一千个 1KB 的文档是完全不同于一千个 1MB 文档所占的物理大小。 一个好的批量大小在开始处理后所占用的物理大小约为 5-15 MB。

`_bulk` 是 Elasticsearch 提供的一个 API,用于批量索引、更新或删除多个文档。 使用 `_bulk` API 可以大大提高索引、更新或删除大量文档的效率,避免多次发送单个请求。 以下是使用 `_bulk` API 的基本步骤: 1. 准备请求体:创建一个包含多个操作的请求体,每个操作都指定了要执行的操作类型(索引、更新或删除)和相应的文档数据。每个操作由两部分组成:操作指令和文档数据。操作指令用于指定要执行的操作类型和文档的元数据。 2. 发送请求:将准备好的请求体发送到 Elasticsearch 的 `_bulk` API 端点。可以使用 HTTP POST 方法发送请求,并将请求体作为请求主体发送。 3. 处理响应:Elasticsearch 将返回一个响应,其中包含每个操作的结果。你可以根据需要解析响应,并处理每个操作的结果。 以下是一个使用 `_bulk` API 的示例请求体: ``` POST /<index>/_bulk { "index" : { "_index" : "myindex", "_id" : "1" } } { "field1" : "value1" } { "delete" : { "_index" : "myindex", "_id" : "2" } } { "update" : { "_index" : "myindex", "_id" : "3" } } { "doc" : { "field2" : "value2" } } ``` 在这个示例中,请求体包含了两个索引操作、一个删除操作和一个更新操作。 注意:请求体中的每个操作都必须是一行的 JSON 格式,并以换行符分隔。 希望这个简单的解释可以帮助你理解 `_bulk` API 的基本用法。如有更多问题,请随时提问。
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值