Elasticsearch权威指南：使用mget API高效检索多个文档

Elasticsearch权威指南：使用mget API高效检索多个文档

elasticsearch-definitive-guide The Definitive Guide to Elasticsearch 项目地址: https://gitcode.com/gh_mirrors/el/elasticsearch-definitive-guide

在Elasticsearch的实际应用中，我们经常需要同时获取多个文档。虽然Elasticsearch本身已经非常快速，但通过批量操作可以进一步提升效率。本文将深入探讨如何使用mget（multi-get）API来实现这一目标。

为什么需要mget API

当我们需要从Elasticsearch获取多个文档时，最直观的方法是逐个发送GET请求。然而，这种方法存在明显的性能问题：

1. 每个请求都需要建立网络连接
2. 每个请求都需要单独处理
3. 网络延迟会随着请求数量的增加而累积

mget API正是为解决这些问题而设计的，它允许我们在单个请求中检索多个文档，显著减少了网络开销和整体响应时间。

mget API基础用法

mget API的基本请求格式如下：

GET /_mget
{
   "docs" : [
      {
         "_index" : "website",
         "_type" : "blog",
         "_id" : 2
      },
      {
         "_index" : "website",
         "_type" : "pageviews",
         "_id" : 1,
         "_source": "views"
      }
   ]
}

在这个请求中：

• docs数组包含了我们想要获取的所有文档的元数据
• 每个文档需要指定_index、_type和_id
• 可以通过_source参数指定只返回特定字段

响应结构分析

mget API的响应也是一个包含docs数组的JSON对象，每个元素对应请求中的一个文档：

{
   "docs" : [
      {
         "_index" : "website",
         "_id" : "2",
         "_type" : "blog",
         "found" : true,
         "_source" : {
            "text" : "This is a piece of cake...",
            "title" : "My first external blog entry"
         },
         "_version" : 10
      },
      {
         "_index" : "website",
         "_id" : "1",
         "_type" : "pageviews",
         "found" : true,
         "_version" : 2,
         "_source" : {
            "views" : 2
         }
      }
   ]
}

响应中的每个文档都包含以下关键信息：

• found：表示文档是否成功找到
• _source：文档的实际内容
• _version：文档的当前版本号

简化请求格式

当所有文档都位于同一个索引（或同一索引和类型）时，我们可以简化请求格式：

1. 指定默认索引和类型：

GET /website/blog/_mget
{
   "docs" : [
      { "_id" : 2 },
      { "_type" : "pageviews", "_id" : 1 }
   ]
}

2. 当索引和类型都相同时，可以使用更简洁的ids数组：

GET /website/blog/_mget
{
   "ids" : [ "2", "1" ]
}

处理文档不存在的情况

当请求的文档不存在时，Elasticsearch会在响应中明确标识：

{
  "docs" : [
    {
      "_index" : "website",
      "_type" : "blog",
      "_id" : "2",
      "found" : true,
      "_source" : {
        "title": "My first external blog entry",
        "text": "This is a piece of cake..."
      }
    },
    {
      "_index" : "website",
      "_type" : "blog",
      "_id" : "1",
      "found" : false
    }
  ]
}

重要注意事项：

• 即使部分文档不存在，整个请求的HTTP状态码仍然是200
• 必须检查每个文档的found字段来确定其获取状态
• 一个文档的获取失败不会影响其他文档的获取

最佳实践建议

1. 批量大小：虽然mget可以显著提高性能，但过大的批量请求会给集群带来压力。建议根据实际情况测试确定最佳批量大小。

2. 字段过滤：使用_source参数只获取需要的字段，减少网络传输量。

3. 错误处理：始终检查响应中的found字段，正确处理文档不存在的情况。

4. 类型一致性：在Elasticsearch 6.0+版本中，一个索引只能包含一个类型，这一特性在规划数据结构时应予以考虑。

通过合理使用mget API，我们可以显著提升应用程序与Elasticsearch交互的效率，特别是在需要获取大量文档的场景下。

elasticsearch-definitive-guide The Definitive Guide to Elasticsearch 项目地址: https://gitcode.com/gh_mirrors/el/elasticsearch-definitive-guide