NIFI集群_内存溢出_CPU占用100%修复_GC overhead limit exceeded_NIFI: out of memory error ---大数据之Nifi工作笔记0017

NIFI: out of memory error inspite of increasing the heap size

java - Apache NiFi - OutOfMemory 错误 : GC overhead limit exceeded on SplitText processor

在使用nifi的时候出现,内存溢出的情况,会频繁出现内存溢出的情况.

这种情况网上有很多种说法,其实有效的解决方法是设置背压,

只要把队列设置的小一点,然后背压设置的个数,小一点,因为默认是10000个flowfile,然后

一个队列容量的大小是1G

这个队列的设置太大了,所以需要设置,比如允许10个文件,1MB这样,这样就可以了,就不会出现

内存溢出的情况了.

同时还可以设置,比如,文件压缩,设置队列的负载均衡,设置FlowFile的过期时间,比如超过10sec让他过期不要堵住队列.

其中背压的作用最大,设置了背压以后,比如设置了队列容量10,那么超过10,背压生效,前面的处理器,就阻塞,不会继续产生新的数据,从而降低了整体压力.

可以看到每个都有注释,有负载均衡的,这里我们选择的轮训策略,然后还有队列策略,是先进先出还是怎么样,还有负载均衡压缩策略,这里我们选择:compr