flume的基本使用

flume的下载:

下载地址: flume官网下载

修改配置文件:flume/conf/flume-env.sh

export JAVA_HOME=/opt/module/jdk1.8.0_212
#配置flume默认内存,不能配置太小,且Xms和Xmx不要相差太多,减少内存波动
export JAVA_OPTS=“-Xms1024m -Xmx1024m -Dcom.sun.management.jmxremote”

就直接可以使用了.

使用的方式:
配置文件: mkdir job
将所有的配置文件就写在job下(这个job是随意创建的)

flume组件: source, sink, channel
作用: 主要是一个用于分布式采取,聚集日志的功能框架

启动框架:

cd flume
#必须-c 指定配置文件,不然配置的内存不生效,默认flume启动使用内存为20m,太小了,所以要指定-c
bin/flume-ng agent -c conf/ -n a1 -f job/配置文件 -Dflume.root.logger=INFO,console