一:flume
分布式数据收集框架、易扩展、可靠、高可用、可定制化,并且可对数据进行简单处理
最简单元是Agent。Agent本身是一个java进程。运行在日志收集节点(服务器节点)。将收集的数据封装成一个event进行传输。
二:agent
agent包含三个核心组件:source,channel,sink。
source:
source组件专门用来收集数据的。负责将数据捕获后进行特殊格式化。可以处理各种类型、各种格式的日志数据、包括avro、thrift、exec、jms、spooling directory、netcat、sequence generator、syslog、http、legacy、自定义。
Source将数据封装到事件(event)里。然后将事件推入Channel中。
每个source必须至少连接一个channel。一个source可以写入几个channel,复制事件到所有或某些channel。
channel:
Channel是连接Source和Sink的组件