saprk on yarn启动报错解决

最新推荐文章于 2024-11-06 19:57:28 发布

吃胡萝卜的鳄鱼

最新推荐文章于 2024-11-06 19:57:28 发布

阅读量538

点赞数 1

CC 4.0 BY-SA版权

分类专栏： spark 文章标签： spark on yarn

本文链接：https://blog.youkuaiyun.com/qq_37135484/article/details/88898474

spark 专栏收录该内容

2 篇文章

订阅专栏

本文介绍了当遇到YARN进程因虚拟内存不足而被杀时的两种解决方案：一是增加机器内存；二是通过配置yarn-site.xml文件来禁用虚拟内存检查。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

错误日志：
Yarn application has already ended! It might have been killed or unable to launch application master.
出现此问题一般是机器的虚拟内存不够，导致yarn进程被杀
在这里插入图片描述
解决方法：
方法1.加大内存；
方法2.在yarn-site中添加以下配置

<property>
        <name>yarn.nodemanager.vmem-check-enabled</name>
        <value>false</value>
</property>
<property>
        <name>yarn.nodemanager.pmem-check-enabled</name>
        <value>false</value>
</property>

在这里插入图片描述

成功