Elasticsearch集群冷热分离-实际操作

最新推荐文章于 2025-09-16 07:02:49 发布

原创

最新推荐文章于 2025-09-16 07:02:49 发布 · 6.8k 阅读

3 ·

CC 4.0 BY-SA版权

文章标签：

#elasticsearch

本文介绍了在一个双节点Elasticsearch集群中如何实现冷热数据分离。每个节点同时运行hot和cold节点，hot节点使用SSD存储实时日志，而cold节点使用HDD存储历史日志。通过节点级别的配置区分hot和cold节点，并利用索引模板确保新索引分配到hot节点。此外，使用Curator定时任务将40天及更久的索引转移到cold节点，以优化资源利用。

两台物理机（40core，128G内存, 1T ssd, 1T*3 hdd），每台机器同时部署一个hot node和cold node，共4个node。hot node使用ssd作为存储介质，分配32G内存，接收实时日志。cold node使用hdd盘作为存储介质，分配16G内存，存储历史日志（只读不写）。每日固定时间进行热->冷迁移。

节点级别配置

在 hot 组的两个节点的 elasticsearch.yml 配置文件 Node 配置段中增加

node.tag: hot

在 cold 组的两个节点的 elasticsearch.yml 配置文件 Node 配置段中增加

node.tag: cold

索引级别配置

为了让新建的的索引自动分配到 hot 节点，在 template 中增加索引的分配规则，如所有 logstash* 的索引匹配的模板叫 logstash ，在 logstash 模板下增加：

PUT /_template/logstash
{
        "order": 0,
        "template": "logstash*",
        "settings": {
            "index.routing.allocation.include.tag": "hot",
            "index.refresh_interva