Flume 是一个分布式数据收集框架，由source、channel和sink组成。source负责数据捕获，如avro、thrift等；channel作为临时存储，确保数据传输可靠性；sink将数据发送到目的地，如HDFS、HBase等。event是传输的基本单位，包含头信息和负载。拦截器可转换或过滤event，selector决定event流向哪个channel。常见的Flume Agent应用场景包括多个Agent顺序连接、数据汇聚和复用流程。
一：flume
分布式数据收集框架、易扩展、可靠、高可用、可定制化，并且可对数据进行简单处理
最简单元是Agent。Agent本身是一个java进程。运行在日志收集节点（服务器节点）。将收集的数据封装成一个event进行传输。
二：agent
agent包含三个核心组件：source，channel，sink。
source：
source组件专门用来收集数据的。负责将数据捕获后进行特殊格式化。可以处理各种类型、各种格式的日志数据、包括avro、thrift、exec、jms、spooling directory、netcat、sequence generator、syslog、http、legacy、自定义。
Source将数据封装到事件（event）里。然后将事件推入Channel中。
每个source必须至少连接一个channel。一个source可以写入几个channel，复制事件到所有或某些channel。
channel：
Channel是连接Source和Sink的组件
最低0.47元/天 解锁文章
扫一扫
3028
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
