Flume 扇入（fanin）扇出（fanout）案例

最新推荐文章于 2025-07-23 17:29:16 发布

原创

最新推荐文章于 2025-07-23 17:29:16 发布 · 1.6k 阅读

4 ·

CC 4.0 BY-SA版权

本文详细介绍了两个Flume使用案例，包括多Flume实例汇总数据到单Flume（扇入）以及单Flume数据传递给多个目的地（扇出）。在扇入案例中，flume-fanin-1和flume-fanin-2分别监控不同源，数据最终由flume-fanin-3写入HDFS。扇出案例中，flume-fanout-1监控文件变动，数据同时传递给flume-fanout-2（存储到HDFS）和flume-fanout-3（输出到本地目录）。

案例三、Flume 与 Flume 之间数据传递，多 Flume 汇总数据到单 Flume。

目标：flume-fanin-1监控某一个端口的数据流，flume-fanin-2 监控文件，flume-fanin-1 和 flume-fanin-2 将数据发送给 flume-fanin-3，flume-fanin-3 将最终数据写入到HDFS。
分步实现
1.创建 flume-fanin-1.conf，用于监控端口 55555，同时 sink 数据到 flume-fanin-3

# 1 agent
a1.sources = netcat-a1
a1.sinks = avro113
a1.channels = c1

# 2 source
a1.sources.netcat-a1.type = netcat
a1.sources.netcat-a1.bind = bigdata111
a1.sources.netcat-a1.port = 55555

#3 sink
a1.sinks.avro113.type = avro
a1.sinks.avro113.hostname = bigdata113
a1.sinks.avro113.port = 4141

# 4 channel
a1.channels.c1.type = memory
a1.channels.c1.capacity = 1000
a1.channels.c1.transactionCapacity = 100

# 5 Bind
a1.sources.netcat-a1.channels = c1
a1.sinks.avro113.channel = c1

2.创建 flume-fanni-2.conf 用于监控文件，同时 Sink 到 flume-fan