大数据学习笔记52：Flume Interceptors（Flume拦截器）

最新推荐文章于 2024-11-16 22:44:02 发布
最新推荐文章于 2024-11-16 22:44:02 发布
阅读量646 收藏
点赞数
CC 4.0 BY-SA版权
分类专栏： 探索大数据-从Hadoop到Flink
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/howard2005/article/details/104323209
本文详细介绍了Apache Flume的拦截器功能，包括Timestamp Interceptor、Host Interceptor、Static Interceptor、UUID Interceptor、Search and Replace Interceptor、Regex Filtering Interceptor和Regex Extractor Interceptor。拦截器允许在数据传输过程中根据特定条件修改或删除事件，形成拦截器链。通过这些拦截器，Flume用户可以实现对事件的时间戳添加、主机信息记录、静态信息注入、唯一ID生成、内容搜索替换、正则过滤和正则表达式提取等多种操作。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

文章目录

一、Flume Interceptors用户指南

http://flume.apache.org/releases/content/1.9.0/FlumeUserGuide.html#flume-interceptors
在这里插入图片描述
Flume在运行阶段有能力修改/删除事件（传输的数据单元），是借助拦截器来完成的。拦截器是实现org.apache.flume.interceptor.Interceptor接口的类。拦截器可以基于开发者选择的任何条件修改甚至删除事件。Flume支持拦截器链（责任链模式）。多个拦截器可以按指定的顺序进行拦截。一个拦截器返回的事件列表会传递给链中的下一个拦截器。拦截器可以修改或删除事件。如果一个拦截器需要删除事件，在返回的事件列表中不包含那个事件即可。如果要删除所有事件，那只需要返回一个空列表。

本节我们准备学习以下Flume拦截器：

  1. Timestamp Inerceptor
  2. Host Interceptor
  3. Static Interceptor
  4. UUID Interceptor
了解本专栏 订阅专栏 解锁全文 超级会员免费看
Flume（二） flume interceptor 拦截器
fighting2016
01-10 461
一、拦截器简介 拦截器是简单插件式组件，设置在Source和Source写入数据的Channel之间。每个拦截器实例只处理同一个Source接收到的事件。 因为拦截器必须在事件写入channel之前完成转换操作，只有当拦截器已成功转换事件后，channel（和任何其他可能产生超时的source）才会响应发送事件的客户端或sink，因此在拦截器中进行大量重量级的处理并不是一个好主
Flume 总结（七）interceptors类型-1.9.0新版
xiaohu21的博客
10-10 238
Flume 总结（七）interceptors类型-1.9.0新版 1. interceptors Timestamp Interceptor Host Interceptor Static Interceptor Remove Header Interceptor UUID Interceptor Morphline Interceptor Search and Replace Interceptor Regex Filtering Interceptor Regex Extractor
flume学习（四）：Flume Interceptors的使用
热门推荐
xiao_jun_0820的专栏
07-25 3万+
对于flume拦截器,我的理解是：
大数据学习——flume拦截器
weixin_30747253的博客
01-22 154
flume 拦截器(interceptor)1、flume拦截器介绍拦截器是简单的插件式组件，设置在source和channel之间。source接收到的事件event，在写入channel之前，拦截器都可以进行转换或者删除这些事件。每个拦截器只处理同一个source接收到的事件。可以自定义拦截器。2、flume内置的拦截器2.1 时间戳拦截器flume中一个最经常使用的拦截器 ，该拦截器的作用是...
flume案例二：拦截器的使用
qq_41704237的博客
08-17 329
添加过滤器 把不同的数据通过不同的通道进行传输 ， 进而使用不同的sink接受 配置flume a1.sources=s1 a1.channels=c1 c2 a1.sinks=k1 k2 #使用netcat作为客户端进行测试 a1.sources.s1.type=netcat a1.sources.s1.bind=localhost a1.sources.s1.port=5555 #设置拦截器 a1.sources.s1.interceptors=i1 #自己使用java写的连接器【详细请看下面的java
【大数据学习 | flume】flume Sink Processors与拦截器Interceptor
2301_80912559的博客
11-16 1282
比如：一个日志文件(多个系统的日志都在该文件中)，根据日志中某个字段值，比如type=1，是系统A日志，sink to hdfs；type=2，是系统B日志，sink to kafka，此时就可以使用Flume多路复用，通过event header 来决定传输到哪个Channel。拦截器可以将flume收集到的event进行拦截，并使用对应的拦截器，对event进行简单修改，过滤。故障转移处理器可以同时指定多个sink输出，按照优先级高低进行数据的分发，并具有故障转移能力。当前实现不允许同时指定多个标头。
Flume系列：Flume 自定义Interceptor拦截器
wester的博客
05-26 1475
flume自定义Interceptor拦截器
flume-demo_大数据_flume_DEMO_自定义拦截器_
10-04
这个名为 "flume-demo_大数据_flume_DEMO_自定义拦截器_" 的项目，显然是一个示例，展示了如何在 Flume 中创建并使用自定义拦截器来过滤数据。下面我们将深入探讨 Flume 的基本概念、拦截器的作用以及如何自定义拦截...
【大数据生态】Flume学习笔记
m0_64280569的博客
03-30 1471
如果正在写入新行，则该源将在等待写入完成时重试读取它们。Multiplexing的原理是，根据 event 中 Header 的某个 key 的值，将不同的 event 发送到不同的 Channel中，所以我们需要自定义一个 Interceptor，为不同类型的 event 的 Header 中的 key 赋予不同的值。在该案例中，我们以端口数据模拟日志，以数字（单个）和字母（单个）模拟不同类型的日志，我们需要自定义 interceptor 区分数字和字母，将其分别发往不同的分析系统（Channel）。
Flume自定义拦截器（Interceptors）或自带拦截器时的一些经验技巧总结（图文详解）...
weixin_34293246的博客
07-27 869
       　　不多说，直接上干货！   一、自定义拦截器类型必须是：类全名$内部类名，其实就是内部类名称 　　如：zhouls.bigdata.MySearchAndReplaceInterceptor$Builder 二、为什么这样写 　　至于为什么这样写：是因为Interceptor接口还有一个 公共的内部接口（Builder） ，所以自定义拦截器 要是实现 Build...
利用Flume拦截器（interceptors）实现Kafka Sink的自定义规则多分区写入
小强签名设计 的博客
08-03 3567
本文大部分内容来自：http://lxw1234.com/archives/2015/11/547.htm，非常感谢原作者 我们目前的业务场景如下：前端的5台日志收集服务器产生网站日志，使用Flume实时收集日志，并将日志发送至Kafka，然后Kafka中的日志一方面可以导入到HDFS，另一方面供实时计算模块使用。 前面的文章《Kafka分区机制介绍与示例》介绍过Kafka的分区机
Flume中的拦截器（Interceptor）介绍与使用（二）
java的平凡之路
03-24 699
Flume中的拦截器（interceptor），用户Source读取events发送到Sink的时候，在events header中加入一些有用的信息，或者对events的内容进行过滤，完成初步的数据清洗。这在实际业务场景中非常有用，Flume-ng 1.6中目前提供了以下拦截器： Timestamp Interceptor； Host Interceptor； Static Interce
flume java.lang.no_Flume - 无法配置接收器 - 没有为接收器配置通道
weixin_34477616的博客
03-06 174
我已经配置了flume来读取日志文件并写入HDFS . 当我启动水槽时，会读取日志文件，但不会写入HDFS . flume.log 有警告消息 - could not configure sink - no channel configured for sink 但我已经在conf文件中分配了一个通道 .下面给出了conf-file和错误消息：File: spool-to-hdfs.pro...
Flume内置拦截器与自定义拦截器（代码实战）
gym02的博客
12-13 2803
官网上内置拦截器的表 由于拦截器一般针对Event的Header进行处理，这里先介绍一下Event event是flume中处理消息的基本单元，由零个或者多个header和body组成。 Header 是 key/value 形式的，可以用来制造路由决策或携带其他结构化信息(如事件的时间戳或事件来源的服务器主机名)。你可以把它想象成和 HTTP 头一样提供相同的功能——通过该方法来传输正文之外的额外信息。 Body是一个字节数组，包含了实际的内容。 flume提供的不同source会给其生成的event
flume 自定义正则过滤器
哎幽的成长
01-08 7179
本文实现：flume 读取日志信息时，通过正则匹配过滤，将匹配到的结果存放在指定文件目录。本文结构： 1. 编写自定义过滤器 2. 编写flume配置文件 3. 运行测试日志信息过滤前：2017-01-06T11:32:48: Debug: D-UNK-000-000: Rules file processing took 332 usec. 2017-01-06T11:32:48: Debu
Flume-拦截器interceptors
扛着锄头的码农
05-25 434
Flume-拦截器interceptors 一、timestamp和hostname拦截器 #set agent name a1.sources=r1 a1.channels=c1 a1.sinks=k1 #set channels a1.channels.c1.type=memory a1.channels.c1.capacity=10000 a1.channels.c1.transactionCapacity=1000 #set sources a1.sources.r1.type=avro a1.
第1关:flume拦截器的使用
最新发布
12-11
Flume是一个分布式、可靠和高可用的系统，用于高效地收集、聚合和移动大量日志数据。Flume拦截器（Interceptor）是Flume中一个重要的组件，用于在数据流经Flume时对数据进行预处理或过滤。 ### Flume拦截器的使用 #### 1. 什么是Flume拦截器？ Flume拦截器是Flume中的一个插件，它可以在数据被发送到下一个Flume组件之前，对数据进行拦截和处理。拦截器可以用于数据过滤、转换、添加或删除字段等操作。 #### 2. 拦截器的类型 Flume提供了多种内置拦截器，也可以自定义拦截器。常见的内置拦截器包括： - **Timestamp Interceptor**：为每个事件添加时间戳。 - **Host Interceptor**：为每个事件添加主机名或IP地址。 - **Static Interceptor**：为每个事件添加静态字段。 - **Regex Filtering Interceptor**：根据正则表达式过滤事件。 #### 3. 配置拦截器 在Flume的配置文件中，可以通过`interceptors`参数来配置拦截器。拦截器通常按顺序执行。 以下是一个示例配置，展示了如何配置多个拦截器： ```properties agent.sources = r1 agent.sinks = k1 agent.channels = c1 agent.sources.r1.type = netcat agent.sources.r1.bind = localhost agent.sources.r1.port = 44444 agent.sources.r1.interceptors = i1 i2 agent.sources.r1.interceptors.i1.type = timestamp agent.sources.r1.interceptors.i2.type = host agent.sinks.k1.type = logger agent.channels.c1.type = memory agent.channels.c1.capacity = 1000 agent.channels.c1.transactionCapacity = 100 agent.sources.r1.channels = c1 agent.sinks.k1.channel = c1 ``` 在这个配置中，`r1`源配置了两个拦截器：`i1`是一个时间戳拦截器，`i2`是一个主机拦截器。 #### 4. 自定义拦截器 如果内置的拦截器不能满足需求，可以自定义拦截器。自定义拦截器需要实现`org.apache.flume.interceptor.Interceptor`接口，并重写其中的方法。 以下是一个简单的自定义拦截器示例： ```java import org.apache.flume.Event; import org.apache.flume.interceptor.Interceptor; public class CustomInterceptor implements Interceptor { @Override public void initialize() { // 初始化操作 } @Override public Event intercept(Event event) { // 对事件进行处理 String body = new String(event.getBody()); body = body.toUpperCase(); event.setBody(body.getBytes()); return event; } @Override public List<Event> intercept(List<Event> events) { for (Event event : events) { intercept(event); } return events; } @Override public void close() { // 清理操作 } public static class Builder implements Interceptor.Builder { @Override public Interceptor build() { return new CustomInterceptor(); } @Override public void configure(Context context) { // 配置操作 } } } ``` 在Flume配置文件中使用自定义拦截器： ```properties agent.sources.r1.interceptors = i3 agent.sources.r1.interceptors.i3.type = com.example.CustomInterceptor$Builder ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

酒城译痴无心剑

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值