logstash5.x output 顺序问题

最新推荐文章于 2025-11-13 15:15:10 发布

原创最新推荐文章于 2025-11-13 15:15:10 发布 · 1.5k 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#elasticsearch

Logstash 专栏收录该内容

4 篇文章

订阅专栏

本文讨论了Logstash中多个output配置的重要性及正确配置顺序对于确保数据备份和避免数据丢失的关键作用。通过实例说明如何通过调整output顺序来提高系统的稳定性和数据的安全性。

配置logstash 多个output 的目的在于，提供数据备份、降低因运行环境问题造成的损失。

但如果配置顺序不正确，前面两点也无法得到保证。

原因是 logstash 在接受输入后，会逐个执行 output 组件，如果第一个
output 写入异常，第二个output 同样会发证问题。

例如：在我们的生产环境，有3个output ( kafka 、Elasticsearch 、file )
最初的配置是： Elasticsearch 在前。file 其后 ， kafka 最后。
但是中间 Elasticsearch 不接受 logstash 的链接请求，而导致数据丢失。
最后调整为 File 在前（保存3天的数据），Kafka 第二，Elasticsearch最后。