filebeat每次有新事件会将上一次的事件重新发送，该如何避免？

场景：每次给日志文件插入新数据，会造成filebeat会将所有数据在发送一次

感觉就跟data/registry失效了一样

 

尝试解决: 

1.logstash 和 Filebeat 的日志，有没有链接超时或者网络断开的异常

2.Filebeat 日志发给 logstash，但是没有收到 ack 确认消息，Filebeat 会重试的。超时时间或可调大点

 

 

最终原因:是因为自己搭建测试环境，所有的日志文件都是通过vim新增

filebeat试图根据元数据来检测文件是否是新的。一些工具/编辑创建一个全新的文件保存并取消旧链接。这被filebeat检测为新文件，迫使它重新发送所有内容。

 

建议使用命令新增日志

echo "2017-10-20 11:23:07,430 [02EC8082-1837-42E3] [ERROR] [RestExceptionHandler.java:58] UBGBUGBUG" >> /var/log/tmp.log

 

发现会有不少新手，会犯这样的错误，共勉

转载于:https://www.cnblogs.com/wangpei886/p/8043125.html