flume遇到java.lang.OutOfMemoryError: Java heap space

为什么80%的码农都做不了架构师？>>>   

当使用flume-ng进行日志采集的时候，如果日志文件很大，容易导致flume出现：

java.lang.OutOfMemoryError: Java heap space 产生这样错误主要是内存的原因，

1 因为我的channel是存在内存中的，所以我修改了flume的配置文件，将channel修改为file， 另外需要调整flume相应的jvm启动参数。

2 修改 flume下的conf/flume-env.sh文件：

export JAVA_OPTS="-Xms512m -Xmx1024m -Dcom.sun.management.jmxremote" 其中：

-Xms<size> set initial Java heap size......................... -Xmx<size> set maximum Java heap size.........................

主要修改Xmx和Xms两个参数,可以根据OS内存的大小进行合理设置,一般一个flume agent 1G左右大小即可

转载于:https://my.oschina.net/112612/blog/1605720