Flume是一个分布式、可靠的日志聚合系统，具有强大的可扩展性和管理性。文章对比了Flume OG与NG的差异，重点介绍了Flume NG的架构，包括Event、Client、Agent、Source、Channel和Sink等核心概念，强调其在日志收集、聚合和移动中的高效性能。Flume NG简化了架构，支持failover和负载均衡，是Hadoop生态系统的重要组成部分。
Flume 是什么？
Flume是一个分布式、可靠、和高可用的海量日志聚合的系统，支持在系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接受方（可定制）的能力。
Flume 特点
1、可靠性
当节点出现故障时，日志能够被传送到其他节点上而不会丢失。
2、可扩展性
Flume采用了三层架构，分别为agent，collector和storage，每一层均可以水平扩展。
3、可管理性
所有agent和colletor由master统一管理，这使得系统便于维护。
4、功能可扩展性
用户可以根据需要添加自己的agent，collector或者storage。
5、文档丰富，社区活跃
Flume 已经成为 Hadoop 生态系统的标配，它的文档比较丰富，社区比较活跃，方便我们学习。
Flume OG 与 Flume NG 的对比
1、Flume OG
Flume OG：Flume original generation 即Flume 0.9.x版本，它由agent、collector、master等组件构成。
2、Flume NG
Flume NG：Flume next generation ，即Flume 1.x版本，它由Agent、Client等组件构成。
3、Flume NG版本的优点
1）相对于Flume OG版本，Flume NG版本代码比较简单。
2）相对于Flume OG版本，Flume NG
最低0.47元/天 解锁文章
扫一扫
959
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
