大数据学习笔记46:初识日志收集系统Flume

Apache Flume是一个高可用、高可靠性的日志收集系统,支持数据的定制发送和简单处理。Flume分为Flume-og和Flume-ng两个版本,后者取消了Master和Zookeeper,采用异步设计提高效率。Flume通过source、channel和sink组件完成数据的采集、存储和传输。Flume与Scribe类似,但提供了更灵活的配置和更高的容错能力。Flume支持多级流动、数据流合并和多路复用,确保数据的可靠性和可恢复性。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >


一个完整的大数据平台,一般包括以下几个过程:数据采集( Flume)、数据存储(HDFS, HBase)、数据管理(DMP)、数据处理(MapReduce)、数据展现(可视化、报表和监控)。

一、Flume概述

Flume最早是Cloudera提供的日志收集系统,后来贡献给Apache。所以目前是Apache下的一个孵化项目,Flume支持在日志系统中定制各类数据发送方,用于收集数据。

Flume是一个高可用的,高可靠的鲁棒性(robust 健壮性),分布式的海量日志采集、聚合和传输的系统,Flume支持在日志系统中定制各类数据发送方,用于收集数据;同时,Flume提供对数据进行简单处理,并写到各种数据接受方(可定制)的能力。

当前Flume有两个版本Flume 0.9X版本的统称Flume-og(og: old generation),Flume1.X版本的统称Flume-ng(ng: new generation)。由于Flume-ng经过重大重构,与Flume-og有很大不同,使用时请注意区分。

二、两个版本差异

1、Flume0.9.x版本

Flume-og采用了多Master的方式。为了保证配置数据的一致性,Flume引入了ZooKeeper,用于保存配置数据,ZooKeeper本身可保证配置数据的一致性和高可用,另外,在配置数据发生变化时,ZooKeeper可以通知Flume Master节点。Flume Master间使用gossip协议同步数据

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

酒城译痴无心剑

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值