flume监控文件夹，整合kafka的配置

最新推荐文章于 2022-12-01 17:27:36 发布

森统

最新推荐文章于 2022-12-01 17:27:36 发布

阅读量3.5k

点赞数 2

分类专栏： flume 文章标签： flume kafka

本文链接：https://blog.youkuaiyun.com/qq_28118609/article/details/90411720

版权

该博客详细介绍了如何使用Flume监控文件夹，并将数据通过TAILDIR源类型实时发送到Kafka。配置包括定义数据源头src_study_info和src_new_pen，设置监控的日志文件路径，使用拦截器设定Kafka的topic，以及配置内存通道ch_study_info和ch_new_pen。最终，通过KafkaSink将数据发送到指定的Kafka broker。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

#logser可以看做是flume服务的名称，每个flume都由sources、channels和sinks三部分组成
#sources可以看做是数据源头、channels是中间转存的渠道、sinks是数据后面的去向
logser.sources = src_study_info src_new_pen
logser.sinks = kfk_study_info kfk_new_pen
logser.channels = ch_study_info ch_new_pen

#source
#源头类型是TAILDIR，就可以实时监控以追加形式写入文件的日志
logser.sources.src_study_info.type = TAILDIR
logser.sources.src_new_pen.type = TAILDIR
#positionFile记录所有监控的文件信息
logser.sources.src_study_info.positionFile = /data/flume/position/study_info/taildir_position.json
logser.sources.src_new_pen.positionFile = /data/flume/position/new_pen/taildir_position.json
#监控的文件组
logser.sources.src_study_info.filegroups = f1
logser.sources.src_new_pen.filegroups = f1
#文件组包含的具体文件，也就是我们监控的文件
logser.sources.src_study_info.filegroups.f1 = /data/flume/study_info_log/..log
logser.sources.src_new_pen.filegroups.f1 =