Flume多节点集群搭建教程-优快云博客

本文链接：https://blog.youkuaiyun.com/a5098726s/article/details/78657929

本文详细介绍了如何在5台虚拟机上搭建Flume的多节点集群，包括在master节点解压配置、设置环境变量、配置flume-env.sh，以及将Flume分发到其他节点，并配置Agent和Collector节点，实现数据的Failover机制。通过这个过程，读者可以学习到Flume集群的完整搭建步骤。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

在前面的blog中，我们在5台虚拟机中搭建了flume的单节点，这篇博客主要讲述搭建flume的多节点搭建。

-5台虚拟机
这里写图片描述

-apache-flume-1.6.0-bin.tar.gz

1、在master节点上，解压压缩包到/usr/local下面

tar -zxvf apache-flume-1.6.0-bin.tar.gz flume-1.7
mv flume-1.7 /usr/local/

2、配置环境变量

vim ~/.bashrc
#在环境变量中配置flume的路径
FLUME_HOME=/usr/local/flume-1.7
export FLUME_CONF_DIR=$FLUME_HOME/conf
#在path中添加FLUME_HOME路径
$FLUME_HOME/bin
#让配置生效
source ~/.bashrc

3、配置flume-env.sh文件

cd /flume-1.7/conf
cp flume-env.sh.template flume-env.sh
vim flume-env.sh
#在文件里添加jdk的路径
JAVA_HOME=/usr/local/jdk1.8.0_144

4、测试一下flume是否添加成功
这里写图片描述

5、将flume传输给其他的节点

scp -r /usr/local/flume-1.7 root@master1:/usr/local/
scp -r /usr/local/flume-1.7 root@slave1:/usr/local/
scp -r /usr/local/flume-1.7 root@slave2:/usr/local/
scp -r /usr/local/flume-1.7 root@slave3:/usr/local/

6、在其他节点上都添加flume的环境变量

7、master、master1为Collector1、Collector2节点。Slave1,2,3分别为Agent1，2，3节点。也就是说，Agent1，2，3的数据会分别流入Collector节点中。Flume-ng本身提供Failover机制，可以自动切换和恢复。

8、在Slave1上配置好Agent1

cd /usr/local/flume-1.7
mkdir exec
touch exec/flumetest.log

Flume多节点的搭建