2022-08-29 解决Flume内存溢出问题

1. 问题背景

内存溢出，提示：ERROR hdfs.HDFSEventSink: process failed java.lang.OutOfMemoryError: GC overhead limit exceeded

2. 解决方案

# 向flume-env.sh添加内容
vim $FLUME_HOME/conf/flume-env.sh

# 尾部添加内容如下
export JAVA_OPTS="-Xms100m -Xmx2000m -Dcom.sun.management.jmxremote"

3. 参数解释

参数	解释
Xms	JVM分配给flume的初始的内存大小
Xmx	JVM能够分配给flume的最大内存大小

一般设置Xms = Xmx，可以避免内存抖动带来的性能消耗。