大数据学习笔记46：初识日志收集系统Flume

最新推荐文章于 2025-01-14 22:51:56 发布

酒城译痴无心剑

最新推荐文章于 2025-01-14 22:51:56 发布

阅读量649

点赞数

CC 4.0 BY-SA版权

分类专栏：探索大数据-从Hadoop到Flink

本文链接：https://blog.youkuaiyun.com/howard2005/article/details/104258734

探索大数据-从Hadoop到Flink 专栏收录该内容

236 篇文章 ¥19.90 ¥99.00

订阅专栏

超级会员免费看

Apache Flume是一个高可用、高可靠性的日志收集系统，支持数据的定制发送和简单处理。Flume分为Flume-og和Flume-ng两个版本，后者取消了Master和Zookeeper，采用异步设计提高效率。Flume通过source、channel和sink组件完成数据的采集、存储和传输。Flume与Scribe类似，但提供了更灵活的配置和更高的容错能力。Flume支持多级流动、数据流合并和多路复用，确保数据的可靠性和可恢复性。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

一个完整的大数据平台，一般包括以下几个过程：数据采集（ Flume）、数据存储（HDFS, HBase）、数据管理（DMP）、数据处理（MapReduce）、数据展现（可视化、报表和监控）。

一、Flume概述

Flume最早是Cloudera提供的日志收集系统，后来贡献给Apache。所以目前是Apache下的一个孵化项目，Flume支持在日志系统中定制各类数据发送方，用于收集数据。

Flume是一个高可用的，高可靠的鲁棒性（robust 健壮性），分布式的海量日志采集、聚合和传输的系统，Flume支持在日志系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接受方（可定制）的能力。

当前Flume有两个版本Flume 0.9X版本的统称Flume-og（og: old generation），Flume1.X版本的统称Flume-ng（ng: new generation）。由于Flume-ng经过重大重构，与Flume-og有很大不同，使用时请注意区分。

二、两个版本差异

1、Flume0.9.x版本

Flume-og采用了多Master的方式。为了保证配置数据的一致性，Flume引入了ZooKeeper，用于保存配置数据，ZooKeeper本身可保证配置数据的一致性和高可用，另外，在配置数据发生变化时，ZooKeeper可以通知Flume Master节点。Flume Master间使用gossip协议同步数据