elasticsearch冷热数据读写分离！

原创于 2025-08-14 19:23:31 发布 · 783 阅读

7 ·

CC 4.0 BY-SA版权

文章标签：

#elasticsearch #大数据 #搜索引擎

数据库专栏收录该内容

8 篇文章

订阅专栏

一. 需求：

面对elasticsearch每天存储大量数据且存储时间很长的情况下，比较突出的一个问题是：非常大量的读IO及聚合计算时，很可能会导致后端Load升高，从而阻塞新数据的写入，影响效率。庆幸的是：es提供了一套冷热数据分离的机制。即：将冷数据与热数据通过node隔离；这样，写操作集中在 N 台热数据节点上，大范围的读操作集中在 M 台冷数据节点上。提升检索(消耗cpu及磁盘io)效率的同时，避免了堵塞影响。

二. 冷热分离的核心概念：

1. 热数据：近期产生、频繁查询 / 写入的数据（如最近 7 天的日志、实时交易记录），对读写延迟敏感，需高性能存储（SSD）和计算资源。

2. 冷数据：历史数据（如 30 天前的日志、归档订单），访问频率低，对性能要求低，可存储在低成本介质（HDD），甚至压缩存储。

可提升查询性能，也可降低存储成本。

3. 原理：elasticsearch 通过节点属性标记和索引生命周期管理（ILM）实现冷热分离，核心逻辑是：

a). 节点按 “热 / 冷” 角色划分（通过自定义属性标记) 。

b). 新索引自动分配到热节点，承担写入和高频查询。

c). 当索引满足条件（如时间），通过 ILM 自动迁移到冷节点，并调整存储策略（如压缩、减少副本）。

三. 实现方式：

1. 首先，我们需要定制各节点属性(tag)，如这里的环境3(分离环境用3个是不合理的，后续解释)个节点，其中1个节点用来做热数据存储，2个节点用来做冷数据存储，配置方法有两种：

1). 通过elasticsearch.yml配置文件：

node.attr.size: "smail,medium"     #一个属性可以配置多个值(标签)
                  big               #冷数据的标签


#也可以通过启动参数指定：
bin/elasticsearch -Enode.attr.rack=rack1 -Enode.attr.size=big

2. 配置默认index的标签template:

# curl -XPUT 'http://10.0.4.183:9201/_template/default_shards?pretty' -d 
‘{
  "index_patterns": ["logs-*", "transactions-*"],
  "settings": {
    "number_of_shards": 3,
    "number_of_replicas": 1,
    "index.routing.allocation.require.box_type": "smail",
    "index.lifecycle.name": "hot-cold-ilm-policy",  # 关联ILM策略（后续定义）
  }
}’

3. 创建索引的冷热数据生命周期管理策略：自动迁移冷数据

{
  "policy": {
    "phases": {
      "smail": {
        "min_age": "0ms",
        "actions": {
          "rollover": {
            "max_age": "1d",
            "max_docs": 10000000
          },
          "set_priority": { 
            "priority": 100
          }
        }
      },
      "big": {  #
        "min_age": "7d",
        "actions": {
          "allocate": { 
            "require": {
              "box_type": "cold"
            }
          },
          "shrink": {
            "number_of_shards": 1
          },
          "forcemerge": {
            "max_num_segments": 1
          },
          "set_priority": {
            "priority": 50
          }
        }
      },
      "delete": {
        "min_age": "30d",
        "actions": {
          "delete": {}
        }
      }
    }
  }
}



#curl -X PUT "http://10.0.4.183:9200/_ilm/policy/hot-cold-ilm-policy" -H "Content-Type: application/json" -d @hot-cold-ilm-policy.json

新索引会自动应用模板中的 index.lifecycle.name，关联 ILM 策略。可通过以下 API 检查：

curl "http://10.0.4.183:9200/logs-2025-08-14/_ilm/explain?pretty"

注意：需要考虑相关节点数的问题，比如，我只有三个节点，如果分片需要配置replicas时，会有什么结果？比如，在这个基础上，我们的cluster有节点脱离(down)掉，会出现什么情况？后续做了相关验证后，记录结论。

-----------------------------------------------------------------------------------------------

深耕运维行业多年，擅长运维体系建设，方案落地。欢迎交流！

V： ywjw996

《运维经纬》