flume简单认识

最新推荐文章于 2024-07-01 13:05:14 发布

原创最新推荐文章于 2024-07-01 13:05:14 发布 · 272 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#flume

数据采集专栏收录该内容

1 篇文章

订阅专栏

本文介绍了FLUME数据采集框架的基础知识，包括其主要功能、数据来源及目标存储位置。FLUME不仅能够从多种源（如web服务器日志、网络端口及消息队列）收集数据，还能将数据聚合并传输至HDFS、HBase、Hive等多个目标存储系统。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

第一次写博客，不知到如何写好这篇博客，有不足和错误的地方希望多多指出，共同交流进步。下面就开始说一说我所了解的FLUME这个框架，FLUME是个数据采集框架。当然，先要了解数据的来源有哪些，才能知道FLUME是如何来采集数据的。好，下面我们就先来看看数据的来源有哪些：
有web服务器产生的log日志文件，例如tomcat服务器、nginx服务器、iis服务器、apache服务器等
网络端口数据
消息队列数据
当然FLUME不但能的采集数据，还可以聚合和传输数据的一个高可用、高可靠的，并且是分布式系统
FLUME收集到的数据可以发送到hdfs上、Hbase上、hive上、网络端口、消息队列等
FLUME的采集过程就是将数据封装到event来进行传输的。
event是数据FLUME_NG数据传输的基本单位。
由于采集数据的方式不同，所以在FLUME_NG中采集数据的过程由用户开发agent来直接指定