Flume 总结（六）selectors类型-1.9.0新版

最新推荐文章于 2024-12-23 11:51:05 发布

原创

最新推荐文章于 2024-12-23 11:51:05 发布 · 342 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#flume #分布式 #cloudera #大数据

本文总结了Flume 1.9.0版本中的Selectors类型，包括默认的Replicating Channel Selector，多路分发的Multiplexing Channel Selector，以及允许自定义的Custom Channel Selector。Replicating Channel Selector适用于一级agent配置，而Multiplexing Channel Selector在需要对混合日志数据分类处理时发挥作用，通常配合Interceptor进行数据标记。文章还给出了不同Selector的配置示例。

Flume 总结（六）selectors类型-1.9.0新版

1. selectors

在这里插入图片描述

Replicating Channel Selector (default)

一级agent配置

# Name the components on this agent  
# Flume agent配置
# 按照上述示意图,就是一个agent(a1)中,2个channel,2个sink
a1.sources = r1  
a1.sinks = k1 k2  
a1.channels = c1 c2  
   
# http source, with replicating selector 
# 这里可以看出,数据从source出来后,以replicating方式,也就是复制方式进入2个channel c1 c2中 
a1.sources.r1.type = http
a1.sources.r1.port = 6666 
a1.sources.r1.bind = master
a1.source