深入学习Flume 应用场景及架构原理

Flume是一个分布式、可靠的日志聚合系统,具有强大的可扩展性和管理性。文章对比了Flume OG与NG的差异,重点介绍了Flume NG的架构,包括Event、Client、Agent、Source、Channel和Sink等核心概念,强调其在日志收集、聚合和移动中的高效性能。Flume NG简化了架构,支持failover和负载均衡,是Hadoop生态系统的重要组成部分。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

 

Flume 是什么?

Flume是一个分布式、可靠、和高可用的海量日志聚合的系统,支持在系统中定制各类数据发送方,用于收集数据;同时,Flume提供对数据进行简单处理,并写到各种数据接受方(可定制)的能力。

Flume 特点

1、可靠性

当节点出现故障时,日志能够被传送到其他节点上而不会丢失。

2、可扩展性

Flume采用了三层架构,分别为agent,collector和storage,每一层均可以水平扩展。

3、可管理性

所有agent和colletor由master统一管理,这使得系统便于维护。

4、功能可扩展性

用户可以根据需要添加自己的agent,collector或者storage。

5、文档丰富,社区活跃

Flume 已经成为 Hadoop 生态系统的标配,它的文档比较丰富,社区比较活跃,方便我们学习。

Flume OG 与 Flume NG 的对比

1、Flume OG

Flume OG:Flume original generation 即Flume 0.9.x版本,它由agent、collector、master等组件构成。

2、Flume NG

Flume NG:Flume next generation ,即Flume 1.x版本,它由Agent、Client等组件构成。

3、Flume NG版本的优点

1)相对于Flume OG版本,Flume NG版本代码比较简单。

2)相对于Flume OG版本,Flume NG

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值