Spark on Yarn运行错误：Yarn application has already ended! It might have been killed or unable to launch

最新推荐文章于 2021-07-29 22:35:02 发布

努力的凹凸曼

最新推荐文章于 2021-07-29 22:35:02 发布

阅读量2k

点赞数 1

CC 4.0 BY-SA版权

分类专栏：疑难解答 Spark 文章标签： Spark

本文链接：https://blog.youkuaiyun.com/py_123456/article/details/89383390

本文详细解析了SparkonYarn模式下因虚拟机内存不足导致的任务失败问题，并提供了解决方案，通过修改yarn-site.xml配置禁用内存检查，确保任务顺利执行。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

Spark on Yarn模式运行错误：

bin/spark-shell --master yarn --deploy-mode client

#报错

查看8088页面上的工作日志

错误原因：在执行任务时检测到虚拟机的内存太小，2.2g的虚拟内存实际值，超过了2.1g的上限，不能满足该任务所需的内存要求，于是Yarn就干掉了执行此任务的contrainer。

解决办法：

在yarn-site.xml文件中加入以下两项配置：

<property>

        <name>yarn.nodemanager.pmem-check-enabled</name>

        <value>false</value>

    </property>

    <property>