hadoop(十一)、Flume安装配置

最新推荐文章于 2024-03-06 09:33:45 发布

原创最新推荐文章于 2024-03-06 09:33:45 发布 · 179 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#flume

大数据专栏收录该内容

21 篇文章

订阅专栏

本文介绍如何下载并安装Apache Flume 1.8.0版本，包括配置环境变量及部署实例的过程。通过创建netcat.conf配置文件实现数据采集，设置source、channel和sink组件，并使用Flume Agent监听指定端口接收数据。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

一、下载安装
1、下载地址：http://flume.apache.org/download.html
2、解压 tar -xvf flume-1.8.0-bin.tar.gz
3、配置环境变量：
vi .bash_profile

    #flume 
    export FLUME_HOME=/opt/module/flume-1.8.0-bin
    export PATH=$PATH:$FLUME_HOME/bin

source .bash_profile

二、部署实例
1、在/opt/module/flume-1.8.0-bin/conf/目录下新建 netcat.conf 配置文件，编辑netcat.conf：

#定义agent名称，source，channel，sink的名称
#a1就是我们给agent起的名字，我们知道有多个agent，那么我们就是通过这个来进行区别
#我们知道agent包含了三个重要的组件，有source，channel，sink
#那么我们也给这个三个组件分别取名字
a1.sources = r1	
a1.channels = c1	
a1.sinks = k1

#定义具体的source内容
#这里是执行命令以及下面对应的具体命令
#这个命令执行后的数据返回给这个source
a1.sources.r1.type = netcat
a1.sources.r1.bind = localhost
a1.sources.r1.port = 44444


#定义具体的channel信息
#我们source定义好了，就要来定义我们的channel
a1.channels.c1.type = memory	
a1.channels.c1.capacity = 10000	
a1.channels.c1.transactionCapacity = 100

#定义具体的sink信息
#这个logger sink，就是将信息直接打印到控制台
#就是打印日志
a1.sinks.k1.type = logger

#最后来组装我们之前定义的channel和sink
a1.sources.r1.channels = c1
a1.sinks.k1.channel = c1

2、运行FlumeAgent，监听本机的44444端口:

flume-ng agent --conf conf --conf-file netcat.conf --name a1 -Dflume.root.logger=INFO,console

conf : 配置文件目录
netcat.conf ：配置文件地址
a1 ： agent名称

3、打开另一终端，通过telnet登录localhost的44444，输入测试数据

telnet 127.0.0.1 44444