k8s企业elk性能调优问题

问题

logstash消费速率远低于日志数量,消息堆积

部署背景

架构优点：

1、采用kafka作为日志缓冲，在高并发情况下可以通过队列就能起到削峰填谷的作用，防止 es 集群丢失数据。
2、实现动态schema，业务可以自定义schema，方便日志检索和查询
3、每一个业务有独立的索引
2.1 elk+kafka

发现问题

部署后发现日志量很大，一天有几个亿，kafka中堆积了很多消息，logstash消费不掉，增加logstash实例也收效甚微

1.怀疑是logstash的配置问题，导致消费太慢

2.es的效率是瓶颈

logstash配置

pipeline:
    workers: 30
    output.w