本文探讨了在公有云和私有云环境中，使用Flume进行日志采集时遇到的重复数据问题。由于rsync的-avz参数导致文件内容重新采集，通过调整为-auvz--append参数，确保rsync以追加方式同步，从而避免Flume重复采集日志。重点在于理解rsync选项对Flume采集效率和数据完整性的影响。
最近线上做测试,因为有服务布在公网云,kafka和hadoop集群布在私有云.所以想采用flume->kafka->flume->hadoop方案,将公有云的服务日志收集到hadoop集群.
因为公有云上服务布的节点节点比较多,所以采用rsync方式,将所有应用日志采集到一台服务器上.再用flume做采集.
开始flume使用agent.sources.s1.type = TAILDIR的方式,将日志发送过去以后,发现日志有重复数据.
排查以后发现,rsync用了 -avz 参数, 网上查找以后发现,rsync -avz并不是纯文件末尾追加内容的形式.
所以flume在taildir采集的时候，每次rsync，都会导致agent.sources.s1.positionFile = file_position.json 重置，把rsync同步后的文件全部内容，重新采集一遍.
不过rsync 可以使用-auvz --append参数，这种是文件末尾追加，那么flume会正常采集！（前提是rsync同步前的文件本身内容，就是末尾追加的形式，且前面内容不改动）.
参考: flume采集rsync文件
Flume采集rsync同步文件,有重复数据,解决方案
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
