大数据Flume相关总结

一、Flume 是什么？

Apache Flume 是一个分布式、高可靠、高可用的海量日志采集、聚合和传输的系统。它被设计用于高效地将大量日志数据从许多不同的源（如Web服务器）收集起来，并移动到中心化的数据存储中（如HDFS、HBase）。

你可以把它想象成数据的“搬运工”或“管道工”，专门负责把产生于各处服务器上的日志数据，可靠地、批量地“搬”到像Hadoop这样的大数据平台上进行分析。

---

二、核心特性与设计目标

1. 高可靠性

   • Flume 提供了基于事务的数据传输机制。它采用Channel（通道）作为数据的临时缓冲区，保证了数据在从Source到Sink的传输过程中不会丢失。这是其最核心的特性。

2. 高可用性

   • 可以配置代理层和故障转移机制，当一个节点出现故障时，其他节点可以接管它的工作，保证数据采集流程不中断。

3. 可扩展性

   • 采用多Agent架构，可以水平扩展以处理更高的数据吞吐量。

4. 可管理性

   • 提供了丰富的Source, Channel, Sink组件，并且允许用户自定义组件。通过一个简单的配置文件就可以定义复杂的数据流。