Flume-应用案例（一）

最新推荐文章于 2024-04-27 08:30:00 发布

Olge

最新推荐文章于 2024-04-27 08:30:00 发布

阅读量496

点赞数

CC 4.0 BY-SA版权

分类专栏： Code-Flume 文章标签：分布式 flume avro thrift

本文链接：https://blog.youkuaiyun.com/zhangdong2012/article/details/53066392

本文介绍了Flume如何利用Avro和Thrift作为数据源收集数据。Avro是一种广泛用于分布式系统间数据交互的协议，而Thrift则是Facebook开源的通信协议。通过配置Flume的Avro Source和Thrift Source，可以实现数据的高效采集。文章展示了配置文件的编写，以及使用Avro和Thrift客户端发送数据并验证Flume成功接收到数据的过程。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

Flume内置的很大功能强大的Source、Channel和Sink的实现，并且这些实现可以自由组合，同时，Flume的拓扑结构也和灵活，可以根据不同的应用场景选择不同的架构，下面示例Flume常用的配置。

Avro

Avro是一种协议，在分布式系统中广泛用于节点之间的数据交互，Flume可以把一个具体的Avro数据端口作为数据源来收集数据。

编写Avro Source配置文件avro.conf

>vim avro.conf
#defined name of source , channel and sink
a1.sources = r1
a1.sinks = k1
a1.channels = c1

#configure avro source
a1.sources.r1.type = avro
a1.sources.r1.channels = c1
a1.sources.r1.bind = 0.0.0.0
a1.sources.r1.port = 4141

#configure logger sink
a1.sinks.k1.type = logger

#configure channel
a1.channels.c1.type = memory
a1.channels.c1.capacity = 1000
a1.channels.c1.transactionCapacity = 100

#bind source and sink to channel
a1.sources.r1.channels = c1
a1.sinks.k1.channel = c1

创建用户测试的文件

>echo "Hello World" >> log.00

启动Flume agent

>./flume-ng agent -f ../conf/avro.conf -n a1 -Dflume.root.logger=INFO,console

利用Avro客户端向agent发送数据

>./flume-ng avro-client -H 0.0.0.0 -p 4141 -F ../temp/log.00

在agent控制台会看到如下信息

16/11/06 21:52:08 INFO ipc.NettyServer: [id: 0x5e51d2a3, /192.168.11.130:45335 => /192.168.11.130:4141] OPEN

最低0.47元/天解锁文章

200万优质内容无限畅学