从写入原理深入elasticsearch写入优化

深入剖析Elasticsearch的写入原理与优化策略

1、线上实际遇到的问题剖析

在实际的线上业务场景中，Elasticsearch的写入操作常常会面临各种各样的挑战。以下是一些具有代表性的问题：

1. 数据插入延迟波动问题：有这样的需求，即每分钟通过sparksteaming向按天划分的索引中插入150万条数据。索引配置为7个分片，1个副本。在大多数情况下，1分钟内插入150万条数据可以正常完成。然而，偶尔会出现严重的延迟，原本1分钟能完成的插入操作，可能突然需要5分钟才能成功，之后又恢复正常。即便将副本设置为0，并且把批量插入的参数从5000提升到2万，使用12个16g的节点，情况依然没有明显改善。
2. 分词器导致的数据写入缓慢问题：由于使用了多个分词器，数据写入速度明显变慢，急需找到有效的优化方法来提升写入效率。
3. 日志收集链路的性能瓶颈问题：在日志收集链路kafka-logstash-es中，压力测试显示logstash的输出速度为70M/s，而Elasticsearch的索引写入速度却不到一半。这种性能损失的原因是什么，又该如何进行调优呢？

以上这些问题只是众多实际问题中的一部分，类似的情况在实际应用中还有很多。

2、问题的综合分析

上述三个问题虽然各有特点，但本质上都是在不同数据源向Elasticsearch写入数据的过程中产生的。可以将这些问题归纳为Elasticsear