flume 实时监控读写操作例程

Flume最主要的作用就是，实时监控读取服务器本地磁盘的数据，将数据写入到HDFS、kafka等。

输入vi flume-env.sh进入修改

配置java路径

export JAVA_HOME=/root/software/jdk1.8.0_221

配置flume的运行内存(建议10G)

export JAVA_OPTS="-Xms10240m -Xmx10240m -Dcom.sun.management.jmxremote"

配小了在运行大量运算时容易报channel不足错误

在conf文件夹下创建job文件夹，用来存放执行任务的配置文件

在flume文件夹下创建flumeLogs文件夹，用于存放读取的数据

例程1：手动传入数据

首先在flume/conf/job文件夹下，创建vi netcat-flume-logger.conf

a1.sources=r1
a1.sinks=k1
a1.channels=c1

a1.sources.r1.type=netcat
a1.sources.r1.bind=localhost
a1.sources.r1.port=44444

a1.channels.c1.type=memory
a1.channels.c1.capacity=1000
a1.channels.c1.transactionCapacity=100

a1.sinks.k1.type=logger

a1.sources.r1.channels=c1
a1.sinks.k1.channel=c1

安装netcat
yum install -y nc

yum install telnet.* -y

客户端接收数据
nc -lk 55555

进入服务器端telnet localhost 55555
输入数据即可在客户端接收

启动监控文件夹命令

/root/software/flume/bin/flume-ng agent --name a1 --conf /root/software/flume/conf --conf-file /root/software/flume/conf/job/netcat-flume-logger.conf -Dflume.root.logger=INFO,console

可能会出现端口占用现象，这时需要杀掉占用端口的进程，或者重复新定义一个端口(在job配置文件中)
对于控制台推出不了，用CTRL+]键，这时会强制退到telnet命令界面下，再用quit退出就行了，百试百灵。

输入j