flume简单认识

本文介绍了FLUME数据采集框架的基础知识,包括其主要功能、数据来源及目标存储位置。FLUME不仅能够从多种源(如web服务器日志、网络端口及消息队列)收集数据,还能将数据聚合并传输至HDFS、HBase、Hive等多个目标存储系统。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

第一次写博客,不知到如何写好这篇博客,有不足和错误的地方希望多多指出,共同交流进步。下面就开始说一说我所了解的FLUME这个框架,FLUME是个数据采集框架。当然,先要了解数据的来源有哪些,才能知道FLUME是如何来采集数据的。好,下面我们就先来看看数据的来源有哪些:
有web服务器产生的log日志文件,例如tomcat服务器、nginx服务器、iis服务器、apache服务器等
网络端口数据
消息队列数据
当然FLUME不但能的采集数据,还可以聚合和传输数据的一个高可用、高可靠的,并且是分布式系统
FLUME收集到的数据可以发送到hdfs上、Hbase上、hive上、网络端口、消息队列等
FLUME的采集过程就是将数据封装到event来进行传输的。
event是数据FLUME_NG数据传输的基本单位。
由于采集数据的方式不同,所以在FLUME_NG中采集数据的过程由用户开发agent来直接指定

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值