Flume环境搭建与使用

最新推荐文章于 2025-11-07 12:52:23 发布

原创

最新推荐文章于 2025-11-07 12:52:23 发布 · 381 阅读

0 ·

CC 4.0 BY-SA版权

本文详细介绍了如何搭建Flume环境，包括JDK的安装和Flume的配置。接着展示了如何从指定端口采集数据并输出到控制台，实时监控文件新增数据以及跨服务器的数据传输。通过具体的配置步骤和操作演示，读者可以掌握Flume的基本用法。

概述：本文主要讲述Flume基础环境的搭建，并实现简单的数据采集与输出。

1、Flume环境搭建

（1）安装JDK

下载并解压JDK、配置环境变量、版本检测

（2）下载并上传Flume

http://archive.cloudera.com/cdh5/cdh/5/flume-ng-1.6.0-cdh5.7.0.tar.gz
scp flume-ng-1.6.0-cdh5.7.0.tar.gz root@hadoop:~/software

（3）解压并配置环境变量

tar -zxvf ~/software/flume-ng-1.6.0-cdh5.7.0.tar.gz  -C ~/app

vi .bash_profile
#内容为
export JAVA_HOME=/root/app/jdk1.8.0_201
export PATH=$JAVA_HOME/bin:$PATH
export FLUME_HOME=/root/app/apache-flume-1.6.0-cdh5.7.0-bin
export PATH=$FLUME_HOME/bin:$PATH

#使环境变量生效
source .bash_profile
#检测环境变量配置
echo $FLUME_HOME

（4）修改Flume配置

#拷贝模板
cp app/apache-flume-1.6.0-cdh5.7.0-bin/conf/flume-env.sh.template app/apache-flume-1.6.0-cdh5.7.0-bin/conf/flume-env.sh
#修改配置
vi app/apache-flume-1.6.0-cdh5.7.0-bin/conf/flume-env.sh
#添加JDK配置目录
export JAVA_HOME=/root/app/jdk1.8.0_201
#Flume版本检测
flume-ng version

2、从指定端口采集数据并输出到控制台

（1）配置原理