1、Flume内存溢出,gent启动后跑到一半报错卡死
解决:修改flume_ng启动脚本中jvm参数:
vi /opt/cloudera/parcels/CDH/lib/flume-ng/bin/flume-ng
把 JAVA_OPTS="-Xmx20m" 改为 JAVA_OPTS="-Xmx2048m"
重启agent,顺畅running
2、关闭文件异常
关闭文件异常,同名的文件被不同的flume agent打开,在文件第二次打开后,先前打开的agent拥有的token就失效了,因此无法关闭它,尝试设置以下参数
# source增加配置
a1.sources.r1.interceptors = i2
a1.sources.r1.interceptors.i2.type = host
# sink增加配置
a1.sinks.k1.hdfs.filePrefix = %{host}
尝试后发现,无效,flume后续依然触发了该报错
再次修改参数
修改后,重启flume,生效,flume恢复正常运行