如何防止 Elasticsearch 服务 OOM ？

最新推荐文章于 2025-03-11 14:57:19 发布

原创

最新推荐文章于 2025-03-11 14:57:19 发布 · 1.3k 阅读

27 ·

CC 4.0 BY-SA版权

文章标签：

#elasticsearch #大数据 #数据库

本文介绍了如何通过极限网关限制ES的最大并发连接数和非重要索引的写入速度，以防止服务中断。通过调整网关配置，可以有效管理大并发访问带来的挑战，并提供了实例和多个索引限速的配置方法。

ES 和传统关系型数据库有很多区别，比如传统数据中普遍都有一个叫“最大连接数”的设置。目的是使数据库系统工作在可控的负载下，避免出现负载过高，资源耗尽，谁也无法登录的局面。

那 ES 在这方面有类似参数吗？答案是没有，这也是为何 ES 会被流量打爆的原因之一。

针对大并发访问 ES 服务，造成 ES 节点 OOM，服务中断的情况，极限科技旗下的 INFINI Gateway 产品（以下简称 “极限网关”）可从两个方面入手，保障 ES 服务的可用性。

限制最大并发访问连接数。
限制非重要索引的请求速度，保障重要业务索引的访问速度。

下面我们来详细聊聊。

架构图

所有访问 ES 的请求都发给网关，可部署多个网关。

限制最大连接数

在网关配置文件中，默认有最大并发连接数限制，默认最大 10000。

entry:
  - name: my_es_entry
    enabled: true
    router: my_router
    max_concurrency: 10000
    network:
      binding: $[[env.GW_BINDING]]
      # See `gateway.disable_reuse_port_by_default` for more information.
      reuse_port: true

使用压测程序测试，看看到达 10000 个连接后，能否限制新的连接。

超过的连接请求，被丢弃。更多信息参考官方文档。

限制索引写入速度

我们先看看不做限制的时候，测试环境的写入速度，在 9w - 15w docs/s 之间波动。虽然峰值很高，但不稳定。

接下来，我们通过网关把写入速度控制在最大 1w docs/s 。
对网关的配置文件 gateway.yml ，做以下修改。

env: # env 下添加
  THROTTLE_BULK_INDEXING_MAX_BYTES: 40485760 #40MB/s
  THROTTLE_BULK_INDEXING_MAX_REQUESTS: 10000 #10k docs/s
  THROTTLE_BULK_INDEXING_ACTION: retry #retry,drop
  THROTTLE_BULK_INDEXING_MAX_RETRY_TIMES: 10 #1000
  THROTTLE_BULK_INDEXING_RETRY_DELAY_IN_MS: 100 #10

router: # route 部分修改 flow
  - name: my_router
    default_flow: default_flow
    tracing_flow: logging_flow
    rules:

最低0.47元/天解锁文章