Flume运维中遇到的问题

1、Flume内存溢出,gent启动后跑到一半报错卡死

解决:修改flume_ng启动脚本中jvm参数:

vi /opt/cloudera/parcels/CDH/lib/flume-ng/bin/flume-ng

把 JAVA_OPTS="-Xmx20m" 改为 JAVA_OPTS="-Xmx2048m"

重启agent,顺畅running 

2、关闭文件异常

关闭文件异常,同名的文件被不同的flume agent打开,在文件第二次打开后,先前打开的agent拥有的token就失效了,因此无法关闭它,尝试设置以下参数

# source增加配置
a1.sources.r1.interceptors = i2
a1.sources.r1.interceptors.i2.type = host
# sink增加配置
a1.sinks.k1.hdfs.filePrefix = %{host}

尝试后发现,无效,flume后续依然触发了该报错

再次修改参数

修改后,重启flume,生效,flume恢复正常运行

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值