qq_40770523的博客

下面实验如下：01-05节点为热数据节点06-07节点为冷数据节点主机名IP地址冷热节点类型热热热热热冷冷。

公司ES集群内存在20个node节点，每个节点的角色即是master又是data角色。

完球，哥们慌了，为啥logstash启动起来CPU就直接拉满，而且看运行日志全是报错，我问我另一个同事Z，他说问题不大，之前一直这样，这就对了！一顿慌乱，然后我们发现日志在我们重启的logstash的过程中出现了滞后问题，我俩就开始慌，一开始以为日志不传送了，后面决定让他运行一会看看，搜嘎！现象：logstash的CPU利用率突然增多，一直持续在100%，而且还存在日志延后问题，扩增CPU资源用处不大，后面新增了两个logstash节点，日志不延后了，但是CPU利用率还是很高。扩增完以后，果然有效果！

查看那个索引比较大，可以先迁移大点的索引，但是不建议迁移今天还有日志正在写入的索引，因为日志写入速度很快的话，一边往外迁移，一边写入，速度很慢，而且容易失败。因为es自动均衡是按照分片数来分配的，并不是按照磁盘空间使用率来分配的。b)检查踢出node上的分片状态，待分片为0 ，同时集群健康状态为green后，执行后续动作。如果目标节点上存在索引分片1的副本分片，那么从源节点上将分片1迁移到目标节点上是不被允许的。a) 由于计划停止的此节点上持有主分片，首先需要将它们上的分片迁移到其他节点。

因此在/usr/share/logstash/vendor/bundle/jruby/3.1.0/gems/logstash-patterns-core-4.3.4/patterns/ecs-v1/grok-patterns目录下自己写了3个，太痛苦了当时！重要的话说三遍，编辑修改/etc/elasticsearch/elasticsearch.yml配置，node.roles和node.attr.node_type定义节点标签都可以，之前机器难得重启一次，我怕测试都不成功，两种方式都用了。