Flume安装配置

最新推荐文章于 2025-06-25 00:23:38 发布

原创最新推荐文章于 2025-06-25 00:23:38 发布 · 2.9k 阅读

11 ·

CC 4.0 BY-SA版权

文章标签：

#flume #hadoop2.7.3

Hadoop 同时被 2 个专栏收录

43 篇文章

订阅专栏

flume

3 篇文章

订阅专栏

本文详细介绍了在Linux环境下，如何从零开始安装配置并使用Flume进行数据采集。包括下载安装Flume，设置环境变量，编写配置文件，创建监听目录，启动FlumeAgent，以及最后的测试验证过程。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

前提条件：

1. 安装好hadoop2.7.3（Linux系统下）

安装步骤：

1. 下载flume安装文件，下载地址：http://archive.apache.org/dist/flume/

下载版本：apache-flume-1.8.0-bin.tar.gz

将下载的文件上传到Linux的~目录下

2. 解压

$ tar -zxvf apache-flume-1.8.0-bin.tar.gz

3. 建立软链接

$ ln -s apache-flume-1.8.0-bin flume

4. 设置环境变量

$ nano ~/.bashrc

文件末尾添加如下内容：

export FLUME_HOME=~/flume
export PATH=$FLUME_HOME/bin:$PATH

让环境变量生效

$ source ~/.bashrc

5.编写配置文件

$ cd $FLUME_HOME/conf
$ nano flume.conf

输入以下内容：

#指定Agent的组件名称
a1.sources = r1
a1.sinks = k1
a1.channels = c1

#指定Flume source（监听的路径为/home/hadoop/testFlume,hadoop为用户名，注意修改）
a1.sources.r1.type = spoolDir
a1.sources.r1.spoolDir = /home/hadoop/testFlume

#指定Flume sink
a1.sinks.k1.type = logger

#指定Flume channel
a1.channels.c1.type = memory
a1.channels.c1.capacity = 1000
a1.channels.c1.transactionCapacity = 100

#绑定source和sink到channel上
a1.sources.r1.channels = c1
a1.sinks.k1.channel = c1

该配置文件可以完成数据流向为：spooldir source（监听目录文件的变化） --> memory channel （将数据缓存在内存中）--> logger sink （通过logger输出变化的内容）的数据采集工作。

6.创建监听目录

$ mkdir /home/hadoop/testFlume

注意：以上路径中的hadoop为用户名，注意修改。

7.启动Flume Agent

flume-ng agent --conf ./ --conf-file flume.conf --name a1 -Dflume.root.logger=INFO,console

8.测试

打开另外一个终端作为测试终端（重要）！！！往监听目录（/home/hadoop/testFlume）的test.log文件写一些内容：

$ echo "hello flume!" >> /home/hadoop/testFlume/test.log

在监听终端（1 node1），查看输出内容：

在监听终端看到输出了 hello flume！，正好是测试终端发送过来的内容，说明flume正常工作。

完成！ enjoy it！