Flume的安装使用教程，详细带图

最新推荐文章于 2025-04-26 13:54:06 发布

静静的程序猿进化史

最新推荐文章于 2025-04-26 13:54:06 发布

阅读量2.5k

点赞数

分类专栏：大数据环境搭建文章标签： hadoop 大数据

本文链接：https://blog.youkuaiyun.com/weixin_44912627/article/details/118890386

版权

本文档介绍了Flume的概念、组成架构，包括Source、Channel、Sink和Event，并提供了Flume的安装步骤及一个实际监听目录文件的案例。Flume是一个用于收集、聚合和传输大规模日志数据的高可用系统，常与Hadoop配合使用。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

一、Flume的概念：
Flume是Cloudera提供的一个高可用，高可靠的，分布式的海量日志采集，聚合和传输的系统。Flumens基于流式架构，灵活简单。
Flume最主要的作用就是实时的读取服务器本地磁盘的数据，然后上传到HDFS（虽然也可以直接从服务器本地上传，但是不是实时的）。

二、Flume组成架构：
在这里插入图片描述

1.Agent
Agent是一个JVM进程，它以事件的形式将数据从源头送至目的，是Flume数据传输的基本单元。启动agent之后，进程名称：Application
Agent主要有3个部分组成，Source、Channel、Sink。
2.Source
Source是负责接收数据到Flume Agent的组件。Source组件可以处理各种类型、各种格式的日志数据，包括avro、thrift、exec（execute）、jms、spooling directory、netcat(读取端口数据)、sequence generator、syslog、http、legacy。
3.Channel
Channel是位于Source和Sink之间的缓冲区。因此&#x

最低0.47元/天解锁文章