使用Flume采集数据时，我们可能会遇到各种场景，一个数据采集任务的标准配置都是Source->Channel->Sink。对于Channel组件的选择常用的有Memory Channel、File Channel。Kafka作为数据源，将Kafka中的数据同步到其他组件中Kafka作为目标端，将其他如文件中的数据采集到Kafka的Topic中Kafka作为中转，将数据从Source采集到Sink中对于以上3种场景，在配置Flume的job时，可能就涉及到不同的组件配置模板。

本文详细的总结了Flume的内部对数据的处理流程和Flume的事务机制，通过此文可以非常清晰的了解到数据在Flume中是如何被处理的，同时也可以了解Flume为什么能够保证数据不会丢失。

简洁明了的讲解了Flume中的自定义的Interceptor的实现。

Flume是一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统。基于流式架构，使用灵活简单，最主要的作用就是读取服务器本地磁盘的数据，将数据写入到HDFS。