Elasticsearch索引生命周期管理(ILM)实战教程

Elasticsearch索引生命周期管理(ILM)实战教程

elasticsearch 项目地址: https://gitcode.com/gh_mirrors/elas/elasticsearch

什么是索引生命周期管理

索引生命周期管理(Index Lifecycle Management, ILM)是Elasticsearch提供的一项强大功能，它允许用户根据预设策略自动管理索引的生命周期。对于时间序列数据(如日志、指标等)，ILM可以自动完成索引的滚动更新、阶段转换和最终删除等操作，极大地简化了运维工作。

为什么需要ILM

在时间序列数据处理场景中，通常会遇到以下挑战：

1. 数据量持续增长，单个索引会变得过大
2. 新旧数据访问模式不同(热数据频繁访问，冷数据很少访问)
3. 需要根据业务需求设置数据保留策略
4. 手动管理大量索引效率低下且容易出错

ILM通过自动化这些管理任务，帮助用户实现：

• 热-温-冷架构优化资源使用
• 自动滚动更新防止单个索引过大
• 按时间自动删除过期数据
• 降低存储成本同时保证查询性能

使用数据流管理时间序列数据

数据流(Data Stream)是管理时间序列数据的推荐方式，特别适合只追加(append-only)的场景。以下是使用ILM自动化管理数据流的完整流程：

第一步：创建生命周期策略

生命周期策略定义了索引要经历的各个阶段及每个阶段要执行的操作。一个典型的策略可能包含：

1. 热阶段(Hot)：索引正在被频繁写入和查询

   • 设置滚动条件(如主分片达到50GB或索引创建30天后)

2. 删除阶段(Delete)：索引不再需要

   • 设置最小年龄(如滚动后90天删除)

示例策略创建API调用：

PUT _ilm/policy/timeseries_policy
{
  "policy": {
    "phases": {
      "hot": {
        "actions": {
          "rollover": {
            "max_primary_shard_size": "50GB",
            "max_age": "30d"
          }
        }
      },
      "delete": {
        "min_age": "90d",
        "actions": {
          "delete": {}
        }
      }
    }
  }
}

第二步：创建索引模板

索引模板用于自动配置新创建的索引。对于数据流，模板必须包含data_stream定义和ILM策略设置：

PUT _index_template/timeseries_template
{
  "index_patterns": ["timeseries"],
  "data_stream": { },
  "template": {
    "settings": {
      "number_of_shards": 1,
      "number_of_replicas": 1,
      "index.lifecycle.name": "timeseries_policy"
    }
  }
}

第三步：创建数据流

通过向数据流名称索引文档来自动创建数据流及其第一个后备索引：

POST timeseries/_doc
{
  "message": "logged the request",
  "@timestamp": "1591890611"
}

当满足滚动条件时，ILM会自动：

1. 创建新的后备索引
2. 将新索引设为数据流的写入索引
3. 停止向旧索引写入

第四步：监控生命周期进度

使用explain API查看索引的生命周期状态：

GET .ds-timeseries-*/_ilm/explain

响应会显示每个索引：

• 当前所处的阶段
• 已在该阶段停留的时间
• 正在执行的操作
• 是否有错误发生

不使用数据流管理时间序列数据

对于需要频繁更新或删除文档的场景，可以使用索引别名代替数据流。基本流程类似，但有几点关键区别：

索引模板配置

模板中需要额外指定滚动别名：

PUT _index_template/timeseries_template
{
  "index_patterns": ["timeseries-*"],
  "template": {
    "settings": {
      "index.lifecycle.name": "timeseries_policy",
      "index.lifecycle.rollover_alias": "timeseries"
    }
  }
}

引导初始索引

需要手动创建初始索引并设置写入别名：

PUT timeseries-000001
{
  "aliases": {
    "timeseries": {
      "is_write_index": true
    }
  }
}

后续的滚动操作将由ILM自动完成，每次滚动都会：

1. 创建名称递增的新索引
2. 将新索引设为别名的写入索引
3. 将旧索引设为只读

最佳实践建议

1. 合理设置滚动条件：根据数据量增长速度和查询需求平衡滚动频率
2. 阶段转换缓冲期：在阶段间设置适当的min_age，避免过早转换
3. 监控ILM执行：定期检查explain API输出，及时发现处理问题
4. 测试策略：在生产环境使用前，先在测试环境验证策略效果
5. 容量规划：考虑冷阶段的数据存储需求，确保有足够空间

通过合理配置ILM，您可以实现时间序列数据的全自动化管理，显著降低运维负担，同时优化存储成本和查询性能。

elasticsearch 项目地址: https://gitcode.com/gh_mirrors/elas/elasticsearch