深入学习Flume 应用场景及架构原理

 

Flume 是什么？

Flume是一个分布式、可靠、和高可用的海量日志聚合的系统，支持在系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接受方（可定制）的能力。

Flume 特点

1、可靠性

当节点出现故障时，日志能够被传送到其他节点上而不会丢失。

2、可扩展性

Flume采用了三层架构，分别为agent，collector和storage，每一层均可以水平扩展。

3、可管理性

所有agent和colletor由master统一管理，这使得系统便于维护。

4、功能可扩展性

用户可以根据需要添加自己的agent，collector或者storage。

5、文档丰富，社区活跃

Flume 已经成为 Hadoop 生态系统的标配，它的文档比较丰富，社区比较活跃，方便我们学习。

Flume OG 与 Flume NG 的对比

1、Flume OG

Flume OG：Flume original generation 即Flume 0.9.x版本，它由agent、collector、master等组件构成。

2、Flume NG

Flume NG：Flume next generation ，即Flume 1.x版本，它由Agent、Client等组件构成。

3、Flume NG版本的优点

1）相对于Flume OG版本，Flume NG版本代码比较简单。

2）相对于Flume OG版本，Flume NG版本架构简洁。

3）Flume NG对Flume OG进行了架构重构，并且现在NG版本完全不兼容原来的OG版本。

Flume NG基本架构

Flume NG是一个分布式、可靠、可用的系统，它能够将不同数据源的海量日志数据进行高效收集、聚合、移动，最后存储到一个中心化数据存储系统中。由原来的Flume OG到现在的F