ES索引切分

最新推荐文章于 2025-03-24 16:42:41 发布

little bee code

最新推荐文章于 2025-03-24 16:42:41 发布

阅读量1.8k

点赞数 2

分类专栏： JAVA 后端文章标签： elasticsearch 大数据

本文链接：https://blog.youkuaiyun.com/weixin_43480441/article/details/128625448

版权

文章介绍了在Elasticsearch中处理大数据量日志的两种索引切分策略。方案一利用ilm策略和rollover，通过设置max_docs、max_age和max_size来自动滚动索引。方案二采用多别名和rollover方式创建公共索引。两种方法都能提高搜索和写入效率，其中方案二更灵活且易于维护。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

提示：对于一些日志类的数据，我们常用到es作为存储，数据量过大时，可能会用到索引切分，这里可以参考

前言

在生产项目中，由于ElasticSearch单个索引数据量大，索引中部分数据不常用，在搜索和写入文档时，效率较低。为了减小单个索引的数据量，提升搜索和文档写入效率，将大索引根据一定的规则拆分为小的索引。

直接上干货，不多bb（记得点赞，收藏，是我最大的动力）

方案一：ES索引切分验证（policy策略）

配置ilm策略（max_docs = 1 测试用）

Ilm策略和模板搭配使用，模板引用此策略

PUT _ilm/policy/das_v5_policy
{
   
  "policy":{
   
    "phases": {
   
      "hot": {
   
        "actions": {
   
          "set_priority": {
   
            "priority": 100
          },
          "rollover": {
   
            "max_age": "1d",
            "max_docs": 1,
            "max_size": "5gb"
          }
        }
      }
    }
  }
}