java.lang.OutOfMemoryError: GC overhead limit exceeded

在spark1.6.0中运行代码，在log中出现如下错误提示：

java.lang.OutOfMemoryError: GC overhead limit exceeded

这个一般是因为垃圾回收占用了大量时间造成的。通常来说，当程序用98%的时间回收了不到2%的堆内存时会出现这个问题。通常是设置的堆内存太小，导致没有足够的内存。当executor的内存不足时会导致GC杀死一些任务，而当这个过程占用时间过多就会报错。

解决方法：
短期的解决方法可以
提高spark.executor.memory和spark.shuffle.memoryFraction，降低spark.storage.memoryFraction，来增加executor的内存提高程序可用的堆空间；
或设置JVM中的-XX:-UseGCOverheadLimit参数；
或减少SPARK_EXECUTOR_CORES以避免core太多导致争夺内存资源和gc操作。

不过根本的解决方法是对代码进行优化，查看程序中是否存在死循环或有使用大内存的代码，使用广播变量提高数据的使用效率减少内存的消耗，确认driver或executor的内存分配与回收机制是否合理。

其他详看https://blog.youkuaiyun.com/zuolovefu/article/details/79024899