Flume搭建

最新推荐文章于 2023-10-15 15:59:44 发布

小白文

最新推荐文章于 2023-10-15 15:59:44 发布

阅读量565

点赞数 1

分类专栏：大数据文章标签： flume linux

本文链接：https://blog.youkuaiyun.com/cjwfinal/article/details/120441503

版权

大数据专栏收录该内容

32 篇文章

订阅专栏

1.上传flume

在这里插入图片描述

2.解压flume

tar -zxvf apache-flume-1.9.0-bin.tar.gz -C /usr/local/soft/

在这里插入图片描述

3.重命名

mv apache-flume-1.9.0-bin/ flume-1.9.0

在这里插入图片描述

4.配置环境变量

vim /etc/profile
#追加以下内容
#flume
export FLUME_HOME=/usr/local/soft/flume-1.9.0
export PATH=$FLUME_HOME/bin:$PATH

#刷新
source /etc/profile

在这里插入图片描述

5.查看flume版本

flume-ng version

在这里插入图片描述

6.测试

配置文件（监控一个目录将数据打印到控制台）

# a1表示agent的名字 可以自定义
# 给sources（在一个agent里可以定义多个source）取个名字
a1.sources = r1
# 给channel个名字
a1.channels = c1
# 给channel个名字
a1.sinks = k1 

# 对source进行配置
# agent的名字.sources.source的名字.参数 = 参数值

# source的类型 spoolDir（监控一个目录下的文件的变化）
a1.sources.r1.type = spooldir 
# 监听哪一个目录
a1.sources.r1.spoolDir = /root/dir1 
# 是否在event的headers中保存文件的绝对路径
a1.sources.r1.fileHeader = true
# 给拦截器取个名字 i1
a1.sources.r1.interceptors = i1 
# 使用timestamp拦截器，将处理数据的时间保存到event的headers中
a1.sources.r1.interceptors.i1.type = timestamp

# 配置channel
a1.channels.c1.type = memory 
a1.channels.c1.capacity = 1000
a1.channels.c1.transactionCapacity = 100

# 配置sink为logger
# 直接打印到控制台
a1.sinks.k1.type = logger

# 将source、channel、sink组装成agent
a1.sources.r1.channels = c1 
a1.sinks.k1.channel = c1

启动agent

flume-ng agent -n a1 -f spoolingtest.cong -Dflume.root.logger=DEBUG,console

创建目录

mkdir /root/dir1

进入/root/dir1目录，新建文件写入内容并保持，观察flume日志

vim a.txt
a
b
c
d
e
f

在这里插入图片描述