自己的HADOOP平台(二):在Hadoop平台上搭载Flume

本文详细介绍如何在单节点上部署Flume并进行简单测试。包括Flume的安装步骤、环境变量配置、flume-env.sh文件设置等内容。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

单节点搭建

  • 为了方便测试和使用,这里采用flume单节点
  • master节点
  • apache-flume-1.7.0-bin.tar.gz

1、 解压压缩包到/usr/local/

tar -zxvf apache-flume-1.7.0-bin.tar.gz flume-1.7
mv flume-1.7 /usr/local/

2、配置环境变量

vim ~/.bashrc
#在期中添加flume的路径
export FLUME_HOME=/usr/local/flume-1.7
export FLUME_CONF_DIR=$FLUME_HOME/conf
#在path中添加FLUME_HOME路径
$FLUME_HOME/bin

配置完成后,记得source一下bashrc文件,让环境变量生效

3、配置flume-env.sh文件

cd /flume-1.7/conf
cp flume-env.sh.template flume-env.sh 
#配置flume-env.sh文件
vim flume-env.sh
#在配置文件里增加jdk的路径
JAVA_HOME=/usr/local/jdk1.8.0_144

4、至此,flume单节点就安装成功了,测试一下吧

flume-ng version

这里写图片描述

测试成功!


这里进行一个简单的flume小案例测试


利用flume监视指定的端口(Netcat)

#在flume的conf文件下创建我们的netcat配置
cd /usr/local/flume-1.7/conf
vim netcat.conf
#在netcat.conf中进行相应的sink,channel,source的定义,这里主要是定义source

# name the components on this agent
a1.sources =r1
a1.sinks = k1
a1.channels = c1

# Describe /configure the source
a1.sources.r1.type = netcat
a1.sources.r1.bind = localhost
a1.sources.r1.port = 1234

# Describe the sink
a1.sinks.k1.type = logger
a1.sinks.k1.maxBytesToLog = 1024

# Use a channel which buffers events in memory
a1.channels.c1.type = memory
a1.channels.c1.capacity = 1000
a1.channels.c1.transactionCapacity = 100

# Bind the source and sink to thn channel
a1.sources.r1.channels = c1
a1.sinks.k1.channle = c1

保存退出,下面进行测试


启动flume agent a1服务器,指定为DEBUG模式

flume-ng agent -n a1 -c ../conf -f ../conf/netcat.conf -Dflume.root.logger=DEBUG,console

新开一个master xshell窗口,下载安装telnet

yum install telnet

用telnet 向另一个启动服务器的窗口发送数据

telnet localhost 1234

发送数据
这里写图片描述

flume接收
这里写图片描述

其他更多的例子,可以去网上或者官网查找。



有什么意见或者建议,请联系我,谢谢。

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值