Spark on Yarn模式运行错误:
bin/spark-shell --master yarn --deploy-mode client
#报错

查看8088页面上的工作日志

错误原因:在执行任务时检测到虚拟机的内存太小,2.2g的虚拟内存实际值,超过了2.1g的上限,不能满足该任务所需的内存要求,于是Yarn就干掉了执行此任务的contrainer。
解决办法:
在yarn-site.xml文件中加入以下两项配置:
<property>
<name>yarn.nodemanager.pmem-check-enabled</name>
<value>false</value>
</property&

本文详细解析了SparkonYarn模式下因虚拟机内存不足导致的任务失败问题,并提供了解决方案,通过修改yarn-site.xml配置禁用内存检查,确保任务顺利执行。
最低0.47元/天 解锁文章
1588

被折叠的 条评论
为什么被折叠?



