Flume的Channel

最新推荐文章于 2024-05-28 14:57:58 发布

weixin_30415113

最新推荐文章于 2024-05-28 14:57:58 发布

阅读量131

点赞数

CC 4.0 BY-SA版权

文章标签：大数据数据库嵌入式

原文链接：http://www.cnblogs.com/chuijingjing/p/10149774.html

本文详细介绍了Flume的四种通道类型：MemoryChannel、JDBCChannel、FileChannel和内存溢出通道，对比了它们的优缺点及适用场景。MemoryChannel适用于高吞吐量允许数据丢失的情况；JDBCChannel用于测试，数据持久化至数据库；FileChannel确保数据不丢失但影响吞吐量；内存溢出通道则为内存不足时提供文件备份。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

一、Memory Channel

事件将被存储在内存中（指定大小的队列里）

非常适合那些需要高吞吐量且允许数据丢失的场景下

属性说明：

二、JDBC Channel

事件会被持久化（存储）到可靠的数据库里，目前支持嵌入式Derby数据库。即source=》channel=》sink。在传输的过程中，会先把事件存到关系型数据库里。但是Derby数据库不太好用，所以JDBC Channel目前仅用于测试，不能用于生产环境。

三、FileChannel

好处：数据不丢失

坏处：极大的降低flume的吞吐量，因为要频繁的发生磁盘I/O

性能比较低，但是即使程序出错数据不会丢失

性能会比较低下，但是即使程序出错数据不会丢失

配置实例：

a1.sources=r1
a1.channels=c1
a1.sinks=s1
 
a1.sources.r1.type=netcat
a1.sources.r1.bind=0.0.0.0
a1.sources.r1.port=8888
 
a1.sinks.s1.type=logger
 
a1.channels.c1.type=file
a1.channels.c1.dataDirs=/home/filechannel
 
a1.sources.r1.channels=c1
a1.sinks.s1.channel=c1