19.大数据学习之旅——flume介绍

最新推荐文章于 2024-11-30 21:37:48 发布

原创

最新推荐文章于 2024-11-30 21:37:48 发布 · 332 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#大数据 #flume

Apache Flume是一个高可用、高可靠的数据采集系统，主要用于大规模日志收集、聚合和传输。它由source、channel和sink三个核心组件构成，以事件(event)为基本单位进行数据传输，支持多种数据源和数据目的地。Flume运行机制中，source收集数据，channel作为缓冲区存储临时数据，sink负责将数据发送到如HDFS的目标位置。Flume还支持多级agent、扇入和扇出数据流，确保数据的可靠性和可恢复性。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

flume介绍

概述
Flume最早是Cloudera提供的日志收集系统，后贡献给Apache。所以目前是Apache下的项目，Flume支持在日志
系统中定制各类数据发送方，用于收集数据。
Flume是一个高可用的，高可靠的鲁棒性（robust 健壮性），分布式的海量日志采集、聚合和传输的系统，
Flume支持在日志系统中定制各类数据发送方，用于收集数据(source);同时，Flume提供对数据进行简单处理，
并写到各种数据接受方(可定制)的能力(sink)。
当前Flume有两个版本Flume 0.9X版本的统称Flume-og，老版本的flume需要引入zookeeper集群管理，性能
也较低（单线程工作）。老版本的flume对于zookeeper依赖过高，此外也会对Zookeeper造成一定
的负载压力。
Flume1.X版本的统称Flume-ng。新版本需要引入zookeerper。
由于Flume-ng经过重大重构，与Flume-og有很大不同，使用时请注意区分。

系统需求
jdk1.6以上。推荐1.7或1.8

下载地址
flume.apache.org

flume基本概念
flume总体架构
在这里插入图片描述
flume是分布式的日志收集系统，它将各个服务器中的数据收集起来并送到指定的地方去，比
如说送到图中的HDFS，简单来说flume就是收集日志的。
event 事件
event的相关概念：flume的核心是把数据从数据源(source)收集过来，在将收集到的数据送
到指定的目的地(sink)。为了保证输送的过程一定成功，在送到目的地(sink)之前，会先缓存
数据(channel),