Flume 基础知识

Flume 是一个分布式数据收集框架,由source、channel和sink组成。source负责数据捕获,如avro、thrift等;channel作为临时存储,确保数据传输可靠性;sink将数据发送到目的地,如HDFS、HBase等。event是传输的基本单位,包含头信息和负载。拦截器可转换或过滤event,selector决定event流向哪个channel。常见的Flume Agent应用场景包括多个Agent顺序连接、数据汇聚和复用流程。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

一:flume

分布式数据收集框架、易扩展、可靠、高可用、可定制化,并且可对数据进行简单处理

最简单元是Agent。Agent本身是一个java进程。运行在日志收集节点(服务器节点)。将收集的数据封装成一个event进行传输。

二:agent

agent包含三个核心组件:source,channel,sink。

source:

source组件专门用来收集数据的。负责将数据捕获后进行特殊格式化。可以处理各种类型、各种格式的日志数据、包括avro、thrift、exec、jms、spooling directory、netcat、sequence generator、syslog、http、legacy、自定义。

Source将数据封装到事件(event)里。然后将事件推入Channel中。

每个source必须至少连接一个channel。一个source可以写入几个channel,复制事件到所有或某些channel。

channel:

Channel是连接Source和Sink的组件

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值