Elasticsearch冷热架构：性能与成本完美平衡

Elasticsearch冷热架构优化指南

最新推荐文章于 2025-11-23 10:47:02 发布

原创最新推荐文章于 2025-11-23 10:47:02 发布 · 851 阅读

19 ·

CC 4.0 BY-SA版权

文章标签：

#elasticsearch #架构 #大数据

Elasticsearch 的冷热架构（Hot-Warm-Cold Architecture）是一种针对时序数据（如日志、指标等）的成本与性能优化方案，通过将数据在不同生命周期的存储需求分层处理，兼顾性能、容量和成本。其核心思想是：让最新、最频繁访问的数据（热数据）存储在高速硬件上，较旧、较少访问的数据（温/冷数据）迁移到廉价大容量硬件上。

核心架构分层

层级	数据特征	硬件配置	使用场景
Hot	最新写入，高频访问	高性能节点（SSD、高CPU/内存）	实时写入、快速查询
Warm	近期数据，中低频访问	中等性能节点（SSD/HDD混合）	历史数据分析
Cold	旧数据，极少访问（归档）	高容量低成本节点（大容量HDD）	长期归档，偶尔查询
Optional: Frozen	极旧数据（只读）	对象存储（如S3）	极少访问，解冻才能查询

关键实现步骤

1. 节点角色划分

为不同层级配置专属节点，在 elasticsearch.yml 中标记节点角色：

# Hot 节点
node.roles: ["data_hot"]

# Warm 节点
node.roles: ["data_warm"]

# Cold 节点
node.roles: ["data_cold"]

2. 配置索引生命周期管理 (ILM)

策略示例（将数据按时间自动迁移）：

PUT _ilm/policy/hot_warm_cold_policy
{
  "policy": {
    "phases": {
      "hot": {
        "min_age": "0ms",
        "actions": {
          "rollover": { "max_size": "50gb", "max_age": "1d" }, // 滚动创建新索引
          "set_priority": { "priority": 100 }                  // 高查询优先级
        }
      },
      "warm": {
        "min_age": "1d",    // 1天后进入温层
        "actions": {
          "set_priority": { "priority": 50 },
          "allocate": { 
            "require": { "data_type": "warm" } // 迁移到 Warm 节点
          },
          "forcemerge": { "max_num_segments": 1 } // 合并段减少资源占用
        }
      },
      "cold": {
        "min_age": "7d",    // 7天后进入冷层
        "actions": {
          "set_priority": { "priority": 0 },
          "allocate": { 
            "require": { "data_type": "cold" }  // 迁移到 Cold 节点
          }
        }
      },
      "delete": {
        "min_age": "30d",   // 30天后删除
        "actions": { "delete": {} }
      }
    }
  }
}

3. 应用ILM策略到索引模板

PUT _index_template/logs_template
{
  "index_patterns": ["logs-*"], 
  "template": {
    "settings": {
      "index.lifecycle.name": "hot_warm_cold_policy",
      "index.routing.allocation.require.data_type": "hot" // 初始写入 Hot 节点
    }
  }
}