flume使用taildir，监控多个文件夹下的多个文件

最新推荐文章于 2025-03-17 18:10:22 发布

NewBee.Mu

最新推荐文章于 2025-03-17 18:10:22 发布

阅读量2k

点赞数

分类专栏： kafka flume taildir

本文链接：https://blog.youkuaiyun.com/NewBeeMu/article/details/103061014

版权

在flume1.6版本及之前，如果想要监控多个目录下的多个文件，可以使用Filelistener，在flume1.7之后，增加了TAILDIR，主要是监控文件的变化
下面介绍taildir的使用：
第一步：在flume中创建conf配置文件，我的是创建在：flume下的job文件夹中，job文件夹是我自定义的用来存放conf配置文件的：
/opt/module/flume/job/flume-file-kafka3.conf
内容如下：

a1.sources = r1
a1.channels = c1

a1.sources.r1.type = TAILDIR
#偏移量文件
a1.sources.r1.positionFile = /opt/module/flume/data/taildir_position.json
#文件的组，可以定义多种
a1.sources.r1.filegroups