最近知识星球没动静主要原因是知识星球他们在做系统升级,我也很无奈,由此给球友带来的不安,深感抱歉。
前几天球友问了我一个问题:
请问浪总,集群400GB内存,提交了10个任务后就不能继续提交任务了,
资源还剩余300GB,CPU也很充足,完全满足新任务的资源,为啥就不能提交新任务了呢???
各位同仁也可以先思考一下可能的原因及解决方案。
估计很多人会说:
很明显,新任务申请的资源,大于了可提供的资源了~
但是这位球友说的很清楚了,剩余的资源很充足,完全可以提供新任务所需的资源。
知识点小贴士~
对spark on yarn研究比较多的朋友都应该发现过你明明给executor申请了1GB内存,结果发现该executor占用了yarn的2GB内存。
其实,对于spark的driver和executor在申请内存的时候有个计算公式:
spark.yarn.am.memoryOverhead
除了指定的申请资源外额外申请(yarn-client模式):
AM memory * 0.10, with minimum