leveretz的博客

Flume介绍 介绍 （1）高可靠性，Flume提供了end to end的数据可靠性机制 （2）易于扩展，Agent为分布式架构，可水平扩展 （3）易于恢复，Channel中保存了与数据源有关的事件，用于失败时的恢复 （4）功能丰富，Flume内置了多种组件，包括不同数据源和不同存储方式 （1）Source：数据源，简单的说就是agent获取数据的入口。 （2）Channel：管道，数据流通和存储的通道。一个source必须至少和一个channel关联。 （3）Sink：用来接收ch.

Flume 是一个分布式、可靠、和高可用的海量日志聚合的系统，支持在系统中定制各类数据发送方，用于收集数据；同时，Flume 提供对数据进行简单处理，并写到各种数据接受方(可定制)的能力。 Flume 的特点是可以通过手工配置，可以自动收集日志文件，在大数据处理及各种复杂的情况下，flume 经常被用来作为数据处理的工具，Flume 搜集日志的方式多种多样，比如可以检测文件夹的变化，可以监