flume配置选择器、处理器、拦截器详解

最新推荐文章于 2025-06-24 09:02:14 发布
置顶 最新推荐文章于 2025-06-24 09:02:14 发布
阅读量2.7k 收藏 7
点赞数 1
CC 4.0 BY-SA版权
分类专栏： 大数据 文章标签： flume flume配置
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/snail_bing/article/details/82421745
本文详细介绍了 Flume 的核心组件 Selector、Interceptor 和 Processor 的配置方法及应用案例，包括复制模式、多路复用模式、多种拦截器的功能及处理器的工作原理。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

目录

一、Selector（选择器）

Selector概述

复制模式

多路复用（路由）模式

二、Interceptors（拦截器）

Interceptors概述

1、Timestamp Interceptor

2、Host Interceptor

​​​​​​​3、Static Interceptor

​​​​​​​4、UUID Interceptor

5、Search and Replace Interceptor

​​​​​​​6、Regex Filtering Interceptor

​​​​​​​7、Regex Extractor Interceptor

三、Processor（处理器）

Processor概述

1、​​​​​​​Default Sink Processor

2、​​​​​​​Failover Sink Processor

3、​​​​​​​Load balancing Sink Processor

 

一、Selector（选择器）

Selector概述

Selector（选择器）可以工作在复制或多路复用(路由) 模式下 。

复制模式

Selector复制模式-属性说明

selector.type replicating 类型名称，默认是 replicating

selector.optional – 标志通道为可选

Selector复制模式-案例

		#命名Agent组件
		a1.sources=r1
		a1.sinks=k1 k2
		a1.channels=c1 c2

		#描述/配置Source
		a1.sources.r1.type=http
		a1.sources.r1.port=8888

		#描述Sink，输出为多个地址，扇出流
		a1.sinks.k1.type=avro
		a1.sinks.k1.hostname=192.168.242.138
		a1.sinks.k1.port=9988
		a1.sinks.k2.type=avro
		a1.sinks.k2.hostname=192.168.242.135
		a1.sinks.k2.port=9988

		#描述内存Channel
		a1.channels.c1.type=memory
		a1.channels.c1.capacity=1000
		a1.channels.c1.transactionCapacity=1000
		a1.channels.c2.type=memory
		a1.channels.c2.capacity=1000
		a1.channels.c2.transactionCapacity=1000

		#为Channel绑定Source和Sink
		a1.sources.r1.channels=c1 c2
		a1.sinks.k1.channel=c1	
		a1.sinks.k2.channel=c2

一到多（一个输入多个输出），即扇出流 。

多路复用（路由）模式

Selector多路复用（路由）模式-属性说明

selector.type 类型，必须是"multiplexing"

selector.header 指定要监测的头的名称  

selector.default –  

selector.mapping.* –

举例：

a1.sources = r1
a1.channels = c1 c2 c3 c4
a1.sources.r1.selector.type = multiplexing
a1.sources.r1.selector.header = state
a1.sources.r1.selector.mapping.CZ = c1
a1.sources.r1.selector.mapping.US = c2 c3
a1.sources.r1.selector.default = c4

Selector多路复用（路由）模式-案例

		#配置Agent组件
		a1.sources=r1
		a1.sinks=k1 k2
		a1.channels=c1 c2

		#描述/配置Source，多路复用模式
		a1.sources.r1.type=http
		a1.sources.r1.port=8888
		a1.sources.r1.selector.type=multiplexing
		a1.sources.r1.selector.header=gender
		a1.sources.r1.selector.mapping.male=c1
		a1.sources.r1.selector.mapping.female=c2
		a1.sources.r1.selector.default=c1

		#描述Sink
		a1.sinks.k1.type=avro
		a1.sinks.k1.hostname=192.168.242.138
		a1.sinks.k1.port=9988
		a1.sinks.k2.type=avro
		a1.sinks.k2.hostname=192.168.242.135
		a1.sinks.k2.port=9988

		#描述内存Channel
		a1.channels.c1.type=memory
		a1.channels.c1.capacity=1000
		a1.channels.c1.transactionCapacity=1000
		a1.channels.c2.type=memory
		a1.channels.c2.capacity=1000
		a1.channels.c2.transactionCapacity=1000

		#为Channel绑定Source和Sink
		a1.sources.r1.channels=c1 c2
		a1.sinks.k1.channel=c1
		a1.sinks.k2.channel=c2

补充知识：扇入流

m3:

编写配置文件:

#命名Agent组件
a1.sources=r1
a1.sinks=k1
a1.channels=c1

#描述/配置Source
a1.sources.r1.type=avro
a1.sources.r1.bind=0.0.0.0
a1.sources.r1.port=4141

#描述Sink
a1.sinks.k1.type=logger

#描述内存Channel
a1.channels.c1.type=memory
a1.channels.c1.capacity=1000
a1.channels.c1.transactionCapacity=1000

#为Channel绑定Source和Sink
a1.sources.r1.channels=c1
a1.sinks.k1.channel=c1

m1、m2:

编写配置文件:

#命名Agent组件
a1.sources=r1
a1.sinks=k1
a1.channels=c1

#描述/配置Source
a1.sources.r1.type=http
a1.sources.r1.port=8888

#描述Sink
a1.sinks.k1.type=avro
a1.sinks.k1.hostname=192.168.242.135
a1.sinks.k1.port=4141

#描述内存Channel
a1.channels.c1.type=memory
a1.channels.c1.capacity=1000
a1.channels.c1.transactionCapacity=1000

#为Channel绑定Source和Sink
a1.sources.r1.channels=c1
a1.sinks.k1.channel=c1

启动flume:

./flume-ng agent --conf ../conf --conf-file ../conf/template9.conf --name a1 -Dflume.root.logger=INFO,console

m1通过curl发送一条http请求，由于默认使用的是jsonHandler，数据格式必须是指定的json格式：

[root@localhost conf]# curl -XPOST -d '[{ "headers" :{"flag" : "c"},"body" : "idoall.org_body"}]' http://0.0.0.0:8888

m2通过curl发送一条http请求，由于默认使用的是jsonHandler，数据格式必须是指定的json格式：

[root@localhost conf]# curl -XPOST -d '[{ "headers" :{"flag" : "c"},"body" : "idoall.org_body"}]' http://0.0.0.0:8888

发现m3均能正确收到消息。

二、Interceptors（拦截器）

Interceptors概述

Flume有能力在运行阶段修改/删除Event，这是通过拦截器（Interceptors）来实现的。

拦截器需要实现org.apache.flume.interceptor.Interceptor接口。

拦截器可以修改或删除事件基于开发者在选择器中选择的任何条件。

拦截器采用了责任链模式，多个拦截器可以按指定顺序拦截。

一个拦截器返回的事件列表被传递给链中的下一个拦截器。

如果一个拦截器需要删除事件，它只需要在返回的事件集中不包含要删除的事件即可。

如果要删除所有事件，只需返回一个空列表。

1、Timestamp Interceptor

Timestamp Interceptor概述

这个拦截器在事件头中插入以毫秒为单位的当前处理时间。头的名字为timestamp，值为当前处理的时间戳。如果在之前已经有这个时间戳，则保留原有的时间戳。

​​​​​​​Timestamp Interceptor属性说明

!interceptors.type – 类型名称，必须是timestamp或自定义类的全路径名

preserveExisting false 如果时间戳已经存在是否保留

​​​​​​​案例

＃命名Agent a1的组件
a1.sources  =  r1
a1.sinks  =  k1
a1.channels  =  c1

＃描述/配置Source
a1.sources.r1.type  =  http
a1.sources.r1.port  =  44444
a1.sources.r1.interceptors = i1
a1.sources.r1.interceptors.i1.type = timestamp

＃描述Sink
a1.sinks.k1.type  =  logger

＃描述内存Channel
a1.channels.c1.type  =  memory
a1.channels.c1.capacity  =  1000
a1.channels.c1.transactionCapacity  =  100

＃为Channle绑定Source和Sink
a1.sources.r1.channels  =  c1
a1.sinks.k1.channel  =  c1

​​​​​​​2、Host Interceptor

Host Interceptor概述

这个拦截器插入当前处理Agent的主机名或ip，头的名字为host或配置的名称，值是主机名或ip地址，基于配置。

​​​​​​​Host Interceptor属性说明

!type – 类型名称，必须是host

preserveExisting false 如果主机名已经存在是否保留

useIP true 如果配置为true则用IP，配置为false则用主机名

hostHeader host 加入头时使用的名称

​​​​​​​案例

＃命名Agent a1的组件
a1.sources  =  r1
a1.sinks  =  k1
a1.channels  =  c1

＃描述/配置Source
a1.sources.r1.type  =  http
a1.sources.r1.port  =  44444
a1.sources.r1.interceptors = i1 i2
a1.sources.r1.interceptors.i1.type = timestamp

#ip是拦截者所在机器的ip
a1.sources.r1.interceptors.i2.type = host

＃描述Sink
a1.sinks.k1.type  =  logger

＃描述内存Channel
a1.channels.c1.type  =  memory
a1.channels.c1.capacity  =  1000
a1.channels.c1.transactionCapacity  =  100

＃为Channle绑定Source和Sink
a1.sources.r1.channels  =  c1
a1.sinks.k1.channel  =  c1

​​​​​​​3、Static Interceptor

Static Interceptor概述

此拦截器允许用户增加静态头信息使用静态的值到所有事件。目前的实现中不允许一次指定多个头。如果需要增加多个静态头可以指定多个Static interceptors​​​​​​​。

Static Interceptor属性说明

!type – 类型，必须是static

preserveExisting true 如果配置头已经存在是否应该保留

key key 要增加的头名

value value 要增加的头值

​​​​​​​案例
 

＃命名Agent a1的组件
a1.sources  =  r1
a1.sinks  =  k1
a1.channels  =  c1

＃描述/配置Source
a1.sources.r1.type  =  http
a1.sources.r1.port  =  44444
a1.sources.r1.interceptors = i1 i2 i3
a1.sources.r1.interceptors.i1.type = timestamp
#ip是拦截者所在机器的ip
a1.sources.r1.interceptors.i2.type = host

a1.sources.r1.interceptors.i3.type = static
a1.sources.r1.interceptors.i3.key = country
a1.sources.r1.interceptors.i3.value = China

＃描述Sink
a1.sinks.k1.type  =  logger

＃描述内存Channel
a1.channels.c1.type  =  memory
a1.channels.c1.capacity  =  1000
a1.channels.c1.transactionCapacity  =  100

＃为Channle绑定Source和Sink
a1.sources.r1.channels  =  c1
a1.sinks.k1.channel  =  c1

在Event的headers中有多了country=China信息 

​​​​​​​4、UUID Interceptor

UUID Interceptor概述

这个拦截器在所有事件头中增加一个全局一致性标志，其实就是UUID。

​​​​​​​UUID Interceptor属性说明

!type – 类型名称，必须是org.apache.flume.sink.solr.morphline.UUIDInterceptor$Builder

headerName id 头名称

preserveExisting true 如果头已经存在，是否保留

prefix “” 在UUID前拼接的字符串前缀

​​​​​​​案例

＃命名Agent a1的组件
a1.sources  =  r1
a1.sinks  =  k1
a1.channels  =  c1

＃描述/配置Source
a1.sources.r1.type  =  http
a1.sources.r1.port  =  44444
a1.sources.r1.interceptors = i1 i2 i3 i4
a1.sources.r1.interceptors.i1.type = timestamp
#ip是拦截者所在机器的ip
a1.sources.r1.interceptors.i2.type = host
a1.sources.r1.interceptors.i3.type = static
a1.sources.r1.interceptors.i3.key = country
a1.sources.r1.interceptors.i3.value = China

a1.sources.r1.interceptors.i4.type = org.apache.flume.sink.solr.morphline.UUIDInterceptor$Builder

＃描述Sink
a1.sinks.k1.type  =  logger

＃描述内存Channel
a1.channels.c1.type  =  memory
a1.channels.c1.capacity  =  1000
a1.channels.c1.transactionCapacity  =  100

＃为Channle绑定Source和Sink
a1.sources.r1.channels  =  c1
a1.sinks.k1.channel  =  c1

作用：标识一条日志

5、Search and Replace Interceptor

Search and Replace Interceptor概述

这个拦截器提供了简单的基于字符串的正则搜索和替换功能。可以修改body部分的内容

​​​​​​​Search and Replace Interceptor属性说明

type – 类型名称，必须是"search_replace"

searchPattern – 要搜索和替换的正则表达式

replaceString – 要替换为的字符串

charset UTF-8 字符集编码，默认utf-8

​​​​​​​案例

＃命名Agent a1的组件
a1.sources  =  r1
a1.sinks  =  k1
a1.channels  =  c1

＃描述/配置Source
a1.sources.r1.type  =  http
a1.sources.r1.port  =  44444
a1.sources.r1.interceptors = i1 i2 i3 i4 i5
a1.sources.r1.interceptors.i1.type = timestamp
#ip是拦截者所在机器的ip
a1.sources.r1.interceptors.i2.type = host
a1.sources.r1.interceptors.i3.type = static
a1.sources.r1.interceptors.i3.key = country
a1.sources.r1.interceptors.i3.value = China
a1.sources.r1.interceptors.i4.type = org.apache.flume.sink.solr.morphline.UUIDInterceptor$Builder

a1.sources.r1.interceptors.i5.type = search_replace
#将所有的数字替换成*
a1.sources.r1.interceptors.i5.searchPattern = [0-9]
a1.sources.r1.interceptors.i5.replaceString = *

＃描述Sink
a1.sinks.k1.type  =  logger

＃描述内存Channel
a1.channels.c1.type  =  memory
a1.channels.c1.capacity  =  1000
a1.channels.c1.transactionCapacity  =  100

＃为Channle绑定Source和Sink
a1.sources.r1.channels  =  c1
a1.sinks.k1.channel  =  c1

​​​​​​​6、Regex Filtering Interceptor

Regex Filtering Interceptor概述

此拦截器通过解析事件体去匹配给定正则表达式来筛选事件，所提供的正则表达式即可以用来包含或刨除事件。

​​​​​​​Regex Filtering Interceptor属性说明

!type – 类型，必须设定为regex_filter

regex ”.*” 所要匹配的正则表达式

excludeEvents false 如果是true则排除匹配的事件，false则包含匹配的事件。

​​​​​​​案例

＃命名Agent a1的组件
a1.sources  =  r1
a1.sinks  =  k1
a1.channels  =  c1

＃描述/配置Source
a1.sources.r1.type  =  http
a1.sources.r1.port  =  44444
a1.sources.r1.interceptors = i1 i2 i3 i4 i5 i6
a1.sources.r1.interceptors.i1.type = timestamp
#ip是拦截者所在机器的ip
a1.sources.r1.interceptors.i2.type = host
a1.sources.r1.interceptors.i3.type = static
a1.sources.r1.interceptors.i3.key = country
a1.sources.r1.interceptors.i3.value = China
a1.sources.r1.interceptors.i4.type = org.apache.flume.sink.solr.morphline.UUIDInterceptor$Builder
a1.sources.r1.interceptors.i5.type = search_replace
#将所有的数字替换成*
a1.sources.r1.interceptors.i5.searchPattern = [0-9]
a1.sources.r1.interceptors.i5.replaceString = *

a1.sources.r1.interceptors.i6.type = regex_filter
#只要是a开头的抛弃
a1.sources.r1.interceptors.i6.regex = ^a.*
a1.sources.r1.interceptors.i6.excludeEvents = true

＃描述Sink
a1.sinks.k1.type  =  logger

＃描述内存Channel
a1.channels.c1.type  =  memory
a1.channels.c1.capacity  =  1000
a1.channels.c1.transactionCapacity  =  100

＃为Channle绑定Source和Sink
a1.sources.r1.channels  =  c1
a1.sinks.k1.channel  =  c1

​​​​​​​7、Regex Extractor Interceptor

Regex Extractor Interceptor概述

使用指定正则表达式匹配事件，并将匹配到的组作为头加入到事件中，它也支持插件化的序列化器用来格式化匹配到的组在加入他们作为头之前。

​​​​​​​Regex Extractor Interceptor属性说明

!type – 类型，必须是regex_extractor

!regex – 要匹配的正则表达式

!serializers – Space-separated list of serializers for mapping matches to header names and serializing their values. (See example below) Flume provides built-in support for the following serializers: org.apache.flume.interceptor.RegexExtractorInterceptorPassThroughSerializer org.apache.flume.interceptor.RegexExtractorInterceptorMillisSerializer

serializers.<s1>.type default Must be default (org.apache.flume.interceptor.RegexExtractorInterceptorPassThroughSerializer), org.apache.flume.interceptor.RegexExtractorInterceptorMillisSerializer, or the FQCN of a custom class that implements org.apache.flume.interceptor.RegexExtractorInterceptorSerializer

serializers.<s1>.name –  

serializers.* – Serializer-specific properties

三、Processor（处理器）

Processor概述

Sink Group允许用户将多个Sink组合成一个实体。

Flume Sink Processor 可以通过切换组内Sink用来实现负载均衡的效果，或在一个Sink故障时切换到另一个Sink。

sinks – 用空格分隔的Sink集合

processor.type default 类型名称，必须是 default、failover 或 load_balance

1、​​​​​​​Default Sink Processor

Default Sink Processor 只接受一个 Sink。不要求用户为单一Sink创建processor

2、​​​​​​​Failover Sink Processor

Failover Sink Processor 维护一个sink们的优先表。确保只要一个是可用的事件就可以被处理。

失败处理原理是，为失效的sink指定一个冷却时间，在冷却时间到达后再重新使用。

sink们可以被配置一个优先级，数字越大优先级越高。

如果sink发送事件失败，则下一个最高优先级的sink将会尝试接着发送事件。

如果没有指定优先级，则优先级顺序取决于sink们的配置顺序，先配置的默认优先级高于后配置的。

在配置的过程中，设置一个group processor ，并且为每个sink都指定一个优先级。

优先级必须是唯一的。

另外可以设置maxpenalty属性指定限定失败时间。

​​​​​​​属性说明

sinks – Space-separated list of sinks that are participating in the group

processor.type default The component type name, needs to be failover

processor.priority.<sinkName> – Priority value. <sinkName> must be one of the sink instances associated with the current sink group A higher priority value Sink gets activated earlier. A larger absolute value indicates higher priority

processor.maxpenalty 30000 The maximum backoff period for the failed Sink (in millis)

​​​​​​​案例

h1配置文件

#命名Agent组件
a1.sources=r1
a1.sinks=k1 k2
a1.channels=c1

#描述/配置Source
a1.sources.r1.type=http
a1.sources.r1.port=44444

#描述Sink
a1.sinkgroups = g1
a1.sinkgroups.g1.sinks = k1 k2
a1.sinkgroups.g1.processor.type = failover
a1.sinkgroups.g1.processor.priority.k1=5
a1.sinkgroups.g1.processor.priority.k2=10

a1.sinks.k1.type =avro
a1.sinks.k1.hostname =hadoop02
a1.sinks.k1.port =44444

a1.sinks.k2.type =avro
a1.sinks.k2.hostname =hadoop03
a1.sinks.k2.port =44444

#描述内存Channel
a1.channels.c1.type=memory
a1.channels.c1.capacity=1000
a1.channels.c1.transactionCapacity=1000

#为Channel绑定Source和Sink
a1.sources.r1.channels=c1
a1.sinks.k1.channel=c1
a1.sinks.k2.channel=c1

h2、h3配置文件

#命名Agent组件
a1.sources=r1
a1.sinks=k1
a1.channels=c1

#描述/配置Source
a1.sources.r1.type=avro
a1.sources.r1.bind = 0.0.0.0
a1.sources.r1.port=44444

#描述Sink
a1.sinks.k1.type=logger

#描述内存Channel
a1.channels.c1.type=memory
a1.channels.c1.capacity=1000
a1.channels.c1.transactionCapacity=1000

#为Channel绑定Source和Sink
a1.sources.r1.channels=c1
a1.sinks.k1.channel=c1

h1发送数据

curl -XPOST -d '[{ "headers" :{"flag" : "c"},"body" : "idoall.org_body"}]' http://0.0.0.0:44444

3、​​​​​​​Load balancing Sink Processor

Load balancing Sink processor 提供了在多个sink之间实现负载均衡的能力。

它维护了一个活动sink的索引列表。

它支持轮询或随机方式的负载均衡，默认值是轮询方式，可以通过配置指定。

也可以通过实现AbstractSinkSelector接口实现自定义的选择机制。

​​​​​​​属性说明

!processor.sinks – Space-separated list of sinks that are participating in the group

!processor.type default The component type name, needs to be load_balance

processor.backoff false Should failed sinks be backed off exponentially.

processor.selector round_robin Selection mechanism. Must be either round_robin, random or FQCN of custom class that inherits from AbstractSinkSelector

processor.selector.maxTimeOut 30000 Used by backoff selectors to limit exponential backoff (in milliseconds)

​​​​​​​案例

h1配置文件

#命名Agent组件
a1.sources=r1
a1.sinks=k1 k2
a1.channels=c1

#描述/配置Source
a1.sources.r1.type=http
a1.sources.r1.port=44444

#描述Sink 负载均衡方式
a1.sinkgroups = g1
a1.sinkgroups.g1.sinks = k1 k2
a1.sinkgroups.g1.processor.type = load_balance
a1.sinkgroups.g1.processor.selector = random

a1.sinks.k1.type =avro
a1.sinks.k1.hostname =hadoop02
a1.sinks.k1.port =44444

a1.sinks.k2.type =avro
a1.sinks.k2.hostname =hadoop03
a1.sinks.k2.port =44444

#描述内存Channel
a1.channels.c1.type=memory
a1.channels.c1.capacity=1000
a1.channels.c1.transactionCapacity=1000

#为Channel绑定Source和Sink
a1.sources.r1.channels=c1
a1.sinks.k1.channel=c1
a1.sinks.k2.channel=c1

h2、h3配置文件

#命名Agent组件
a1.sources=r1
a1.sinks=k1
a1.channels=c1

#描述/配置Source
a1.sources.r1.type=avro
a1.sources.r1.bind = 0.0.0.0
a1.sources.r1.port=44444

#描述Sink
a1.sinks.k1.type=logger

#描述内存Channel
a1.channels.c1.type=memory
a1.channels.c1.capacity=1000
a1.channels.c1.transactionCapacity=1000

#为Channel绑定Source和Sink
a1.sources.r1.channels=c1
a1.sinks.k1.channel=c1

h1发送数据

curl -XPOST -d '[{ "headers" :{"flag" : "c"},"body" : "idoall.org_body"}]' http://0.0.0.0:44444

以上就是全部内容，如有疑问或者建议欢迎留言。

版权所有，转载请说明转载地址

 

Flume之常用选择器
QYHuiiQ
05-08 1508
Flume中的选择器主要是用于决定source进入哪个channel中，主要有两种选择器： replicating selector：将event复制到该source对应的所有channel中。 multiplexing selector：指定特定header的值进入某个channel。 如果没有指定选择器，默认使用replcating selector。 案例-replicating selector： 这里配置一个source，两个channel，两个sink。 创建自定义conf文件
Flume实战--Flume中的选择器、自动容灾（故障转移）、负载均衡的详解与操作
天冬忘忧的博客
09-30 1494
本文详细介绍了Apache Flume的关键特性，包括选择器、拦截器、故障转移和负载均衡。选择器负责将数据分发到多个Channel，拦截器用于修改或丢弃Event。故障转移机制能够在Sink故障时自动切换，而负载均衡则在多个Sink间分配负载。文章还提供了自定义拦截器的示例，展示了Flume在复杂数据处理中的灵活性和稳定性。
flume选择器
csdn1949_406的博客
05-04 625
选择器，选择器，就是选择如何把一个source的数据 同时写到多个channel，是复制到各个channel，大家数据一样，还是有规则的 将一些数据给a channel，另一些数据给b channel。 source可以向多个channel同时写数据，所以也就产生了以何种方式向多个channel 写的问题： replication(复制，缺省)。数据完整地发送到每一个channel； multiplexing（多路复用）。通过配置来按照一定的规则进行分发； 复制选择器 默认的选择器。 多路复用选择器：使用
深入理解flume项目中的多通道选择机制
最新发布
gitblog_00461的博客
06-24 232
深入理解flume项目中的多通道选择机制 前言 在现代并发编程中，通道(channel)是一种非常重要的线程间通信机制。flume作为一个Rust实现的通道库，提供了强大而灵活的功能。本文将重点分析flume项目中一个典型示例——多通道选择机制，帮助读者理解如何高效地处理多个通道的消息接收。 通道选择机制概述 通道选择机制允许程序同时监听多个通道，并在其中任意一个通道有消息到达时立即处理，而不需要...
flume 选择器
鸭梨的博客
10-27 780
选择器干什么的?选择什么?只有多个channel的时候才会用到选择器.可以选择把source中的数据如何分配给各个channel. 复制选择器就是复制好几份,每个channel都来一份一样的. 多路复用选择器俺一定的规则划分,这个更实用点,毕竟没事搞那么多副本干啥. 这个也是依据header中的键值对来进行匹配,然后把单个source中内容根据header 中key的value的不同分发到不同的channel中去. 举个例子 [root@mypc01 flumeconf]# vim multiplexi
Flume-----选择器和拦截器
GTmustang的博客
12-25 2271
flume的选择器和拦截器 1 flume的选择器 flume的选择器是作用在source端，用于将不同event分发到不同的channel里，flume内置的选择器有两种，分别如下： Replicating：复用选择器，作用是将event拷贝到不同的channel里 Multiplexing：多副路选择器，作用是根据不同的条件将不同的event分发到不同的channel里 Replicating选择器的案例演示 需求：将event拷贝到两个channel中，使用两个sink来各自接收一个channel的数
Flume自定义正则表达式拦截器详解与应用
资源摘要信息:"Flume 自定义正则表达式拦截器，是一个基于 Flume 正则表达式过滤器拦截器的扩展版本。它允许用户通过正则表达式来定义需要从 Flume 事件的 body 中提取的字段，并将这些字段发送到 Channel 或 Sink。...
Flume入门--万字详解
qq_73181349的博客
04-22 1656
Flume基础架构、安装部署、入门案例、断点续传源码修改
Flume Intercept Selector配置详解
司马班如
12-12 709
Flume Intercept Selector配置详解 Flume配置遇到了一个问题是关于Inteceptor和Selector的问题，这篇文章主要讲解关于Inteceptor和Selector配置。 在Flume中，Source，Channel，都可以多对多，也就是，一个Source可以对应多个Channel，一个Channel可以对应多个Sink，但是一个Sink只能对应一个Channel。我给自己描绘了一个比较通俗易懂的图，来讲解一下整个Flume组件的配置。如下图所示： 在这里有2个source
flume详解 从原理到应用
weixin_41929239的博客
11-17 1780
第一章 flume概述 1.1 flume定义 flume是cloudera提供的一个高可用，高可靠，分布式的海量日志采集、聚合和传输的系统。flume基于流式架构，灵活简单。 flume最主要的作用：实时读取服务器本地磁盘的数据，将数据写入HDFS或kafka消息队列中。 1.2 flume基础架构 flume的组成架构如图所示： 1.2.1 agent agent是一个jvm进程，他以事件的形式将数据从源头送至目的地。 agent主要有3个部分组成：source、channel、sink 1.2
flume拦截器
热门推荐
jinYwuM的博客
09-11 1万+
摘要: 拦截器是简单的插件式组件，设置在source和channel之间。source接收到的时间，在写入channel之前，拦截器都可以进行转换或者删除这些事件。每个拦截器只处理同一个source接收到的事件。可以自定义拦截器。 flume内置了很多拦截器，并且会定期的添加一些拦截器，在这里列出一些flume内置的，经常使用的拦截器。 一、拦截器的种类介绍 1、Timestamp Int...
Flume拦截器，选择器
斧王，不能再斩杀了吗的博客
10-23 492
flume配置 详解：从一个logfile日志读取，然后在channel端添加拦截器，选择器发往不同的topic主题 从而实现事件的区分 a1.sources = r1 a1.channels = c1 c2 a1.sources.r1.type = TAILDIR a1.sources.r1.positionFile = /var/log/flume/taildir_position.json ...
Flume Selectors
sunwenxu的博客
07-16 218
Flume Channel Selectors If the type is not specified, then defaults to “replicating”. 如果未指定类型，则默认为“复制”。 Replicating Channel Selector (default) Required properties are in bold. Property Name Defaul...
Hadoop生态圈-Flume的组件之拦截器与选择器
weixin_34367257的博客
06-20 188
 　　　　　　　　　　　　　　　　　　Hadoop生态圈-Flume的组件之拦截器与选择器 　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　作者：尹正杰 版权声明：原创作品，谢绝转载！否则将追究法律责任。     　　本篇博客只是配置的是Flume主流的Interceptors，想要了解更详细的配置信息请参考官网：http://flume.apache.or...
Flume选择器
SmallCatBaby的博客
06-01 2407
前言 Channel选择器是决定Source接受的特定事件写入到哪个Channel的组件，他们告诉Channel处理器，然后由其将事件写入到Channel。 Agent中各个组件的交互 由于Flume不是两阶段提交，事件被写入到一个Channel，然后事件在写入下一个Channel之前提交，如果写入一个Channel出现异常，那么之前已经写入到...
SpringMVC——拦截器和异常处理器
chenxingxingxing的博客
04-23 740
文章目录一、拦截器1、拦截器简介（1）什么是拦截器（2）拦截器的作用（3）拦截器与filter过滤器的区别2、创建拦截器（1）创建类实现HandlerInterceptor接口（2）重写接口里面的三个方法（3）在springMVC.xml配置拦截器3、多个拦截器拦截方法执行顺序二、异常处理器1、默认异常处理机制DefaultHandlerExceptionResolver2、自定义异常处理器SimpleMappingExceptionResolver（1）基于配置实现（2）基于配置异常处理机制 一、拦截器
Flume(二十三)Selector
技术博客
08-08 283
这是Flume1.10.0版本开始提供的一种新的分发模式。节点收入数据之后，会根据数据中headers中的指定字段的值来决定将数据分发给哪一个Channel，所以此时各个节点的数据是不同的。Channel Selector本身是Source的子组件，决定了将数据的分发方式以及数据分发给哪一个Channel。节点收入数据之后，会将数据复制之后发送给每一个节点，所以此时每一个节点收到的数据都是完全相同的。比如根据数据不同发送到不同的节点，音乐的数据发送到一个节点，影片的数据发送到另一个节点。
HandlerInterceptor、Filter处理器拦截器机制全解
变个魔术
11-14 1262
当当前某个拦截器的preHandle方法返回false 时，DispatcherServlet 会假定拦截器本身已处理完毕请求（例如，已经渲染了合适的视图），此时将尝试直接倒序执行此前已放行的拦截器链的afterCompletion 方法，随后retrun结束处理，不会继续执行执行链中的后续其他拦截器和Handler实际处理程序（业务逻辑）以及后续其他流程。拦截器链和过滤器链的预处理和后处理的调用顺序都是相反的，即预处理调用时按照链从前向后调用，而后处理调用时则按照链从后向前调用。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值