ELK Logstas到Kafka异常消息过大字节过多

最新推荐文章于 2024-10-02 21:45:12 发布

原创最新推荐文章于 2024-10-02 21:45:12 发布 · 2.9k 阅读

3 ·

CC 4.0 BY-SA版权

文章标签：

#ELK #logstash

ELK 专栏收录该内容

1 篇文章

订阅专栏

在遇到Logstash向Kafka发送批次失败的问题时，本文详细记录了排查过程及解决方案，包括调整Kafka集群配置和修改Logstash输出参数，如max.request.size设置为5242880。

上午看日志突然发现logstash报了一个错，报错信息如下：
Sending batch to Kafka failed. Will retry after a delay. {:batch_size=>1, :failures=>1, :sleep=>0.1}
查了一下，有文章说kafka集群配置的问题，具体文章：
http://blog.51cto.com/421308058/2316442
改完之后发现还是报这个错误，然后修改了logstash里outputs的相关参数：
max.request.size = 5242880
output里kafka插件参数详情参考：
https://segmentfault.com/a/1190000016596051