Flume 是什么?
Flume是一个分布式、可靠、和高可用的海量日志聚合的系统,支持在系统中定制各类数据发送方,用于收集数据;同时,Flume提供对数据进行简单处理,并写到各种数据接受方(可定制)的能力。
Flume 特点
1、可靠性
当节点出现故障时,日志能够被传送到其他节点上而不会丢失。
2、可扩展性
Flume采用了三层架构,分别为agent,collector和storage,每一层均可以水平扩展。
3、可管理性
所有agent和colletor由master统一管理,这使得系统便于维护。
4、功能可扩展性
用户可以根据需要添加自己的agent,collector或者storage。
5、文档丰富,社区活跃
Flume 已经成为 Hadoop 生态系统的标配,它的文档比较丰富,社区比较活跃,方便我们学习。
Flume OG 与 Flume NG 的对比
1、Flume OG
Flume OG:Flume original generation 即Flume 0.9.x版本,它由agent、collector、master等组件构成。
2、Flume NG
Flume NG:Flume next generation ,即Flume 1.x版本,它由Agent、Client等组件构成。
3、Flume NG版本的优点
1)相对于Flume OG版本,Flume NG版本代码比较简单。
2)相对于Flume OG版本,Flume NG