Flume的拦截器原理及其配置

最新推荐文章于 2024-09-29 07:00:00 发布

x我有辣条跟我走。

最新推荐文章于 2024-09-29 07:00:00 发布

阅读量965

点赞数

CC 4.0 BY-SA版权

分类专栏：大数据阶段-知识点总结

本文链接：https://blog.youkuaiyun.com/XIAOMO__/article/details/109238735

本文介绍了Flume配置文件file-flume-kafka.conf中的拦截器使用，重点讲解了如何自定义LogETLInterceptor和LogTypeInterceptor，并阐述了拦截器的工作原理，如同Map结构存储KV值，key为topic，value包含日志类型。文章还详细解释了实现Interceptor接口的四个关键方法：initialize、intercept、interceptList和close。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

配置：file-flume-kafka.conf

flume中主要用到的就是配置文件

com.bigdata.flume.interceptor.LogETLInterceptor和com.bigdata.flume.interceptor.LogTypeInterceptor是自定义的拦截器的全类名。需要根据用户自定义的拦截器做相应修改。

拦截器：它的里面有两个自定义的拦截器，一个是数据清洗的拦截器，一个是日志类型的拦截器。

拦截器就相当于map,有kv值。

key :就是头，给他个名字叫做topic ，value:里面放着日志类型satrt和event。发往channle

a1.sources=r1
a1.channels=c1 c2      #组件定义

# configure source
a1.sources.r1.type = TAILDIR                #taildir方式读取数据
a1.sources.r1.positionFile = /opt/module/flume/test/log_position.json   #记录日志读取位置
a1.sources.r1.filegroups = f1
a1.sources.r1.filegroups.f1 = /tmp/logs/app.+     #读取日志位置
a1.sources.r1.fileHeader = true
a1.sources.r1.channels = c1 c2

#interceptor
a1.sources.r1.interceptors =  i1 i2
a1.sources.r1.inter