spark程序运行异常:java.lang.OutOfMemoryError: GC overhead limit exceeded
此次异常是在集群上运行的spark程序日志中发现的。由于这个异常导致sparkcontext被终止,以致于任务失败:
出现的一些原因
参考:GC overhead limit exceeded
java.lang.OutOfMemoryError有几种分类的,这次碰到的是java.lang.OutOfMemoryError: GC overhead limit exceeded,下面就来说说这种类型的内存溢出。
简单来说,java.lang.OutOfMemoryError: GC overhead li
原创
2020-07-15 15:50:18 ·
10089 阅读 ·
0 评论