大数据系列 | 日志数据采集工具Flume的架构分析及应用

1. Flume架构分析

   Agent就是我们使用Flume启动的一个代理， 它是一个持续传输数据的服务， 数据在Agent内部组件之间传输的基本单位是Event
   从图中可以看到， Agent是由Source、 Channel和Sink组成的， 这就是Flume中的3大核心组件。
   ● Source： 数据源。通过它可以指定读取哪里的数据， 将数据传递给后面的Channel 组件。 Flume默认支持读取多种数据源

    ◎ Exec Source： 用于文件监控，可以实时监控文件中的新增内容， 类似于Linux中tail -F的效果。 需要注意 tail -f 和 tail -F的区别。
    ◎ NetCat TCP/UDP Source： 采集指定端口（TCP、 UDP） 的数据， 可以读取流经端口的每一行数据。
    ◎ Spooling Directory Source： 采集文件夹中新增的文件。
    ◎ Kafka Source