Flume中的拦截器（Interceptor）介绍与使用（一）

最新推荐文章于 2025-11-01 22:02:53 发布
转载 最新推荐文章于 2025-11-01 22:02:53 发布 · 1.2w 阅读 · 14
文章标签：

#interceptor #flume

本文介绍了Flume中的拦截器（interceptor），包括TimestampInterceptor、HostInterceptor、StaticInterceptor和UUIDInterceptor等，通过实例展示了如何配置这些拦截器来实现数据清洗。

Flume中的拦截器（interceptor），用户Source读取events发送到Sink的时候，在events header中加入一些有用的信息，或者对events的内容进行过滤，完成初步的数据清洗。这在实际业务场景中非常有用，Flume-ng 1.6中目前提供了以下拦截器：

Timestamp Interceptor；
Host Interceptor；
Static Interceptor；
UUID Interceptor；
Morphline Interceptor；
Search and Replace Interceptor；
Regex Filtering Interceptor；
Regex Extractor Interceptor；

本文对常用的几种拦截器进行学习和介绍，并附上使用示例。

本文中使用的Source为TaildirSource，就是监控一个文件的变化，将内容发送给Sink，具体可参考《Flume中的TaildirSource》，Source配置如下：

 
  1. #-->设置sources名称
  2. agent_lxw1234.sources = sources1
  3. #--> 设置channel名称
  4. agent_lxw1234.channels = fileChannel
  5. #--> 设置sink 名称
  6. agent_lxw1234.sinks = sink1
  7.  
  8. # source 配置
  9. agent_lxw1234.sources.sources1.type = com.lxw1234.flume17.TaildirSource
  10. agent_lxw1234.sources.sources1.positionFile = /tmp/flume/agent_lxw1234_position.json
  11. agent_lxw1234.sources.sources1.filegroups = f1
  12. agent_lxw1234.sources.sources1.filegroups.f1 = /tmp/lxw1234_.*.log
  13. agent_lxw1234.sources.sources1.batchSize = 100
  14. agent_lxw1234.sources.sources1.backoffSleepIncrement = 1000
  15. agent_lxw1234.sources.sources1.maxBackoffSleep = 5000
  16. agent_lxw1234.sources.sources1.channels = fileChannel

Flume Source中使用拦截器的相关配置如下：

 
  1. ## source 拦截器
  2. agent_lxw1234.sources.sources1.interceptors = i1 i2
  3. agent_lxw1234.sources.sources1.interceptors.i1.type = host
  4. agent_lxw1234.sources.sources1.interceptors.i1.useIP = false
  5. agent_lxw1234.sources.sources1.interceptors.i1.hostHeader = agentHost
  6. agent_lxw1234.sources.sources1.interceptors.i2.type = timestamp
  7.  

对一个Source可以使用多个拦截器。

Timestamp Interceptor

时间戳拦截器，将当前时间戳（毫秒）加入到events header中，key名字为：timestamp，值为当前时间戳。用的不是很多。比如在使用HDFS Sink时候，根据events的时间戳生成结果文件，hdfs.path = hdfs://cdh5/tmp/dap/%Y%m%d

hdfs.filePrefix = log_%Y%m%d_%H

会根据时间戳将数据写入相应的文件中。

但可以用其他方式代替（设置useLocalTimeStamp = true）。

Host Interceptor

主机名拦截器。将运行Flume agent的主机名或者IP地址加入到events header中，key名字为：host（也可自定义）。

根据上面的Source，拦截器的配置如下：

 
  1. ## source 拦截器
  2. agent_lxw1234.sources.sources1.interceptors = i1
  3. agent_lxw1234.sources.sources1.interceptors.i1.type = host
  4. agent_lxw1234.sources.sources1.interceptors.i1.useIP = false
  5. agent_lxw1234.sources.sources1.interceptors.i1.hostHeader = agentHost
  6.  
  7. # sink 1 配置 
  8. agent_lxw1234.sinks.sink1.type = hdfs
  9. agent_lxw1234.sinks.sink1.hdfs.path = hdfs://cdh5/tmp/lxw1234/%Y%m%d
  10. agent_lxw1234.sinks.sink1.hdfs.filePrefix = lxw1234_%{agentHost}
  11. agent_lxw1234.sinks.sink1.hdfs.fileSuffix = .log
  12. agent_lxw1234.sinks.sink1.hdfs.fileType = DataStream
  13. agent_lxw1234.sinks.sink1.hdfs.useLocalTimeStamp = true
  14. agent_lxw1234.sinks.sink1.hdfs.writeFormat = Text
  15. agent_lxw1234.sinks.sink1.hdfs.rollCount = 0
  16. agent_lxw1234.sinks.sink1.hdfs.rollSize = 0
  17. agent_lxw1234.sinks.sink1.hdfs.rollInterval = 600
  18. agent_lxw1234.sinks.sink1.hdfs.batchSize = 500
  19. agent_lxw1234.sinks.sink1.hdfs.threadsPoolSize = 10
  20. agent_lxw1234.sinks.sink1.hdfs.idleTimeout = 0
  21. agent_lxw1234.sinks.sink1.hdfs.minBlockReplicas = 1
  22. agent_lxw1234.sinks.sink1.channel = fileChannel
  23.  

该配置用于将source的events保存到HDFS上hdfs://cdh5/tmp/lxw1234的目录下，文件名为lxw1234_<主机名>.log

Static Interceptor

静态拦截器，用于在events header中加入一组静态的key和value。

根据上面的Source，拦截器的配置如下：

 
  1. ## source 拦截器
  2. agent_lxw1234.sources.sources1.interceptors = i1
  3. agent_lxw1234.sources.sources1.interceptors.i1.type = static
  4. agent_lxw1234.sources.sources1.interceptors.i1.preserveExisting = true
  5. agent_lxw1234.sources.sources1.interceptors.i1.key = static_key
  6. agent_lxw1234.sources.sources1.interceptors.i1.value = static_value
  7.  
  8. # sink 1 配置 
  9. agent_lxw1234.sinks.sink1.type = hdfs
  10. agent_lxw1234.sinks.sink1.hdfs.path = hdfs://cdh5/tmp/lxw1234
  11. agent_lxw1234.sinks.sink1.hdfs.filePrefix = lxw1234_%{static_key}
  12. agent_lxw1234.sinks.sink1.hdfs.fileSuffix = .log
  13. agent_lxw1234.sinks.sink1.hdfs.fileType = DataStream
  14. agent_lxw1234.sinks.sink1.hdfs.useLocalTimeStamp = true
  15. agent_lxw1234.sinks.sink1.hdfs.writeFormat = Text
  16. agent_lxw1234.sinks.sink1.hdfs.rollCount = 0
  17. agent_lxw1234.sinks.sink1.hdfs.rollSize = 0
  18. agent_lxw1234.sinks.sink1.hdfs.rollInterval = 600
  19. agent_lxw1234.sinks.sink1.hdfs.batchSize = 500
  20. agent_lxw1234.sinks.sink1.hdfs.threadsPoolSize = 10
  21. agent_lxw1234.sinks.sink1.hdfs.idleTimeout = 0
  22. agent_lxw1234.sinks.sink1.hdfs.minBlockReplicas = 1
  23. agent_lxw1234.sinks.sink1.channel = fileChannel

看看最终Sink在HDFS上生成的文件结构：

flume interceptor

UUID Interceptor

UUID拦截器，用于在每个events header中生成一个UUID字符串，例如：b5755073-77a9-43c1-8fad-b7a586fc1b97。生成的UUID可以在sink中读取并使用。根据上面的source，拦截器的配置如下：

 
  1. ## source 拦截器
  2. agent_lxw1234.sources.sources1.interceptors = i1
  3. agent_lxw1234.sources.sources1.interceptors.i1.type = org.apache.flume.sink.solr.morphline.UUIDInterceptor$Builder
  4. agent_lxw1234.sources.sources1.interceptors.i1.headerName = uuid
  5. agent_lxw1234.sources.sources1.interceptors.i1.preserveExisting = true
  6. agent_lxw1234.sources.sources1.interceptors.i1.prefix = UUID_
  7.  
  8. # sink 1 配置 
  9. agent_lxw1234.sinks.sink1.type = logger
  10. agent_lxw1234.sinks.sink1.channel = fileChannel

运行后在日志中查看header信息：

flume interceptor

Morphline Interceptor

Morphline拦截器，该拦截器使用Morphline对每个events数据做相应的转换。关于Morphline的使用，可参考

http://kitesdk.org/docs/current/morphlines/morphlines-reference-guide.html

后续再研究这块。

Flume使用之拦截器的使用
FlatTiger的博客
02-23 604
拦截器的作用 为Event中的数据加上特定的headers标签内容，分发不同内容的数据到不同的Channel上。 实现 # 定义sources、channels、sinks a1.sources = r1 a1.channels = c1 a1.sinks = k1 # 配置source a1.sources.r1.type = TAILDIR # 配置文件组 a1.sources.r1.filegroups = f1 f2 # 配置文件组中的文件 a1.sources.r1.filegroups.f1
Flume 自定义拦截器（Interceptor）
mengxianglong123的博客
10-02 889
一、案例需求 使用Flume采集服务器本地日志，需要按照日志类型的不同，将不同种类的日志发往不同的分析系统。 二、需求分析 在实际的开发中，一台服务器产生的日志类型可能有很多种，不同类型的日志可能需要发送到不同的分析系统。此时会用到Flume拓扑结构中的Multiplexing结构，Multiplexing的原理是，根据event中Header的某个key的值，将不同的event发送到不同的Channel中，所以我们需要自定义一个Interceptor，为不同类型的event的Header中的key赋予不同
Flume 拦截器实战：如何在日志采集阶段过滤无效数据并添加业务标签
最新发布
2501_93896396的博客
11-01 278
/ 业务标签常量@Override// 过滤无效数据if (!// 添加业务标签// 数据有效性校验// 检查：1.非空 2.长度>10 3.包含有效标识= null &&// Builder类（必须实现）@Override@Override// 可读取配置文件参数。
自定义Flume的Interceptor，编写、配置与使用
weixin_42102379的博客
10-31 1407
基于需求，自己写了一个Flume的Interceptor，主要需求如下： kafka中数据格式为json字符串，需要利用Flume消费kafka中的数据，并按照指定的key的顺序，将value输出，并用指定分隔符分隔 输入：String JsonString = &quot;{'key1':'a','key2':'b','key3':'c','key4':'d','key5':'e','key6':'f'}...
Flume学习系列(四)---- Interceptors（拦截器）
LifeIsGood
08-21 632
前言：flume通过使用Interceptors（拦截器）实现修改和过滤事件的功能。举个栗子，一个网站每天产生海量数据，但是可能会有很多数据是不完整的（缺少重要字段），或冗余的，如果不对这些数据进行特殊处理，那么会降低系统的效率。这时候拦截器就派上用场了。 一、flume内置的拦截器 先列个flume内置拦截器的表： table1.png 由于拦截器一般针对...
flume拦截器的使用
First_____的博客
03-27 3304
例子需求说明: 我们现在需要将日志中的数据读取到kafka当中 且需要区分数据的,分别写入到两个不同的主题当中 flume作业conf配置如下: source : taildir 实现断点续传 channel : 使用kafkachannel 写入到两个主题当中 sink : 没有使用 拦截器: 使用i1,i2两个拦截器 i1:做数据的清理, 防止脏数据,ETL拦截器 i2:做头部信息添加, 分类型拦截器 选择器:根据头部信息进行输出到kafka的哪个主题当中 a1.channels=c1 c2 a
Flume系列：Flume 自定义Interceptor拦截器
wester的博客
05-26 1521
flume自定义Interceptor拦截器
Flume拦截器(interceptor)详解和静态拦截器综合案例实现
weixin_43230682的博客
08-27 5269
目录 一、Flume拦截器(interceptor)介绍 二、Flume内置的拦截器 1、时间戳拦截器 2、主机拦截器 3、静态拦截器 4、正则过滤拦截器 三、静态拦截器综合案例实现 1. 案例场景 2. 场景分析 3. 数据流程处理分析 4. 实现 一、Flume拦截器(interceptor)介绍 拦截器是简单的插件式组件，设置在source和channel之间。source接收到的事件event，在写入channel之前，拦截器都可以进行转换或者删除这些事件。...
Flume实战--Flume中的拦截器详解与操作
天冬忘忧的博客
09-29 2576
在处理大规模数据流时，Apache Flume 是一款功能强大的数据聚合工具，它可以通过拦截器在运行时对Event进行修改或丢弃。本文将详细讲解Flume中的拦截器，包括时间戳拦截器、Host添加拦截器、静态拦截器以及如何自定义拦截器。
【大数据学习 | flume】flume Sink Processors与拦截器Interceptor
2301_80912559的博客
11-16 1337
比如：一个日志文件(多个系统的日志都在该文件中)，根据日志中某个字段值，比如type=1，是系统A日志，sink to hdfs；type=2，是系统B日志，sink to kafka，此时就可以使用Flume多路复用，通过event header 来决定传输到哪个Channel。拦截器可以将flume收集到的event进行拦截，并使用对应的拦截器，对event进行简单修改，过滤。故障转移处理器可以同时指定多个sink输出，按照优先级高低进行数据的分发，并具有故障转移能力。当前实现不允许同时指定多个标头。
flume拦截器使用
qq_36864672的博客
12-07 626
log4j.properties配置： log4j.rootLogger=INFO log4j.category.com.besttone=INFO,flume log4j.appender.flume = org.apache.flume.clients.log4jappender.Log4jAppender log4j.appender.flume.Hostname = loc
Flume-拦截器interceptors
扛着锄头的码农
05-25 451
Flume-拦截器interceptors 一、timestamp和hostname拦截器 #set agent name a1.sources=r1 a1.channels=c1 a1.sinks=k1 #set channels a1.channels.c1.type=memory a1.channels.c1.capacity=10000 a1.channels.c1.transactionCapacity=1000 #set sources a1.sources.r1.type=avro a1.
Flume拦截器（Interceptor）
小强签名设计 的博客
08-25 4860
Flume中的拦截器（interceptor），用户Source读取events发送到Sink的时候，在events header中加入一些有用的信息，或者对events的内容进行过滤，完成初步的数据清洗。这在实际业务场景中非常有用，Flume-ng 1.7中目前提供了以下拦截器： Timestamp Interceptor； Host Interceptor； Static Interce
Flume中的拦截器的使用方法(Interceptor)
giantleech的博客
05-25 1212
文章目录Flume中的拦截器的使用方法(Interceptor)Java代码实现打Jar 包创建conf文件验证 Flume中的拦截器的使用方法(Interceptor) Flume中的拦截器（interceptor），用户Source读取events发送到Sink的时候，在events header中加入一些有用的信息，或者对events的内容进行过滤，完成初步的数据清洗。这在实际业务场景中非常有 Java代码实现 用java代码实现简单的功能，如果出现hello开头的，拦截到一个地方，出现hi开头的
Flume自定义拦截器的使用
pezynd的专栏
08-18 968
第1章 简介 在生产环境中，系统应用的日志千奇百怪，千万不能将这些乱七八糟的数据上传到HDFS上之后，再来做数据的清洗整理。通常的做法是，我们再上传HDFS之前，在Flume采集传输的时候，就将日志进行一层过滤和整理，经过这一层整理之后，我们再将数据上传到HDFS，以减少在HDFS上清洗数据的频次。 这里，我们就需要用到Flume拦截器。Flume有很多预置好的拦截器，直接配置Agent即可使用，详见官方手册：https://flume.apache.org/FlumeUserGuide.html#fl
flume案例二：拦截器的使用
qq_41704237的博客
08-17 378
添加过滤器 把不同的数据通过不同的通道进行传输 ， 进而使用不同的sink接受 配置flume a1.sources=s1 a1.channels=c1 c2 a1.sinks=k1 k2 #使用netcat作为客户端进行测试 a1.sources.s1.type=netcat a1.sources.s1.bind=localhost a1.sources.s1.port=5555 #设置拦截器 a1.sources.s1.interceptors=i1 #自己使用java写的连接器【详细请看下面的java
3-Flume之拦截器与GangLia监控
m0_73450879的博客
03-26 1352
实际过程中，可以使用Ganglia监控Flume的数据流。Ganglia是Berkeley发起的一个开源的集群监控项目，可以检测数以千计的节点的性能Ganglia包含三个模块gmond(Ganglia Monitoring Daemon)：轻量级的监控服务，需要监控哪一个节点的性能，就在这个节点上安装gmond服务，可以监控当前节点(系统)的各种指标数据：CPU、内存、磁盘、网络等信息。
flume interceptor使用
qq_33498670的博客
03-03 475
Timestamp Interceptor 时间戳拦截器，将当前时间戳（毫秒）加入到events header中，key名字为：timestamp，值为当 前时间戳 参数 默认值 描述 type 取值为timestamp，也可以使用类名的全路径 preserveExisting false 如果设置为true，若事件中报头已经存在，不会替换报头同名key的值 a3.sou...
Flume自定义拦截器 Interceptor.Builder not found.
06-19
### Flume自定义拦截器中Interceptor.Builder未找到的解决方案 Flume 是一个分布式、可靠且高可用的日志收集系统。在开发自定义拦截器时，`Interceptor.Builder` 的缺失通常与以下几个方面有关：类路径配置错误、依赖版本不匹配或代码实现不符合规范。 以下是解决该问题的具体方法： #### 1. 确保正确实现 `Builder` 接口 Flume 拦截器需要实现 `org.apache.flume.interceptor.Interceptor` 接口，并提供一个静态内部类 `Builder`，用于创建拦截器实例[^1]。如果未实现 `Builder` 类，则会引发 `Interceptor.Builder not found` 错误。 以下是一个正确的自定义拦截器示例： ```java package com.example.flume.interceptor; import org.apache.flume.Context; import org.apache.flume.Event; import org.apache.flume.interceptor.Interceptor; import java.util.ArrayList; import java.util.List; import java.util.Map; public class CustomInterceptor implements Interceptor { @Override public void initialize() { // 初始化逻辑 } @Override public Event intercept(Event event) { // 自定义事件处理逻辑 return event; } @Override public List<Event> intercept(List<Event> events) { List<Event> intercepted = new ArrayList<>(); for (Event event : events) { intercepted.add(intercept(event)); } return intercepted; } @Override public void close() { // 清理资源 } // 静态内部类 Builder，必须实现 public static class Builder implements Interceptor.Builder { @Override public Interceptor build() { return new CustomInterceptor(); } @Override public void configure(Context context) { // 配置逻辑 } } } ``` #### 2. 检查依赖版本 确保使用的 Flume 版本与拦截器代码兼容。例如，Flume 1.9 和 Flume 1.10 在 API 上可能存在差异[^2]。可以通过以下方式检查依赖版本： - 在 Maven 项目中，检查 `pom.xml` 文件中的 Flume 依赖版本。 - 在 Gradle 项目中，检查 `build.gradle` 文件中的 Flume 依赖版本。 以下是一个 Maven 依赖示例： ```xml <dependency> <groupId>org.apache.flume</groupId> <artifactId>flume-ng-core</artifactId> <version>1.9.0</version> </dependency> ``` #### 3. 验证类路径配置 如果拦截器 JAR 文件未正确加载到 Flume 的类路径中，也会导致 `Builder` 类找不到。确保自定义拦截器的 JAR 文件已放置在 Flume 的 `lib` 目录下[^3]。 #### 4. 检查 Flume 配置文件 Flume 配置文件中需要正确指定拦截器的全限定类名。例如： ```properties agent.sources.r1.interceptors = i1 agent.sources.r1.interceptors.i1.type = com.example.flume.interceptor.CustomInterceptor$Builder ``` 注意：`type` 属性应指向 `Builder` 类的全限定名。 --- ### 示例代码总结 通过实现 `Interceptor.Builder` 接口并正确配置依赖和类路径，可以有效解决 `Interceptor.Builder not found` 的问题。 ```java // 自定义拦截器实现 public class CustomInterceptor implements Interceptor { public static class Builder implements Interceptor.Builder { @Override public Interceptor build() { return new CustomInterceptor(); } @Override public void configure(Context context) { // 配置逻辑 } } } ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值