YarnClientSchedulerBackend: Yarn application has already exited with state FAILED

PiZriN

已于 2022-05-30 15:29:27 修改

阅读量1.5k

点赞数 8

分类专栏： Linux 文章标签： spark hadoop hdfs

于 2022-05-30 15:21:25 首次发布

本文链接：https://blog.youkuaiyun.com/PiZriN/article/details/125046856

版权

Linux 专栏收录该内容

2 篇文章

订阅专栏

在尝试通过`spark-shell --master yarn`启动Spark Shell时，遇到Yarn应用状态为FAILED的错误。检查Yarn进程历史记录显示收到SIGTERM信号。问题通常发生在JDK 1.8环境下。解决方案包括修改`yarn-site.xml`配置文件，将`yarn.nodemanager.vmem-pmem-ratio`设置为10，并将`yarn.nodemanager.vmem-check-enabled`设为false，然后重新分布配置并重启集群。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

在启动spark-shell --master yarn 中我们会发现spark-shell启动时报错

YarnClientSchedulerBackend: Yarn application has already exited with state FAILED

这时我们访问yarn进程看历史记录看看启动时报错异常:ERRORorg.apache.hadoop.hdfs.server.namenode.NameNode: RECEIVED SIGNAL 15: SIGTERM(如图)，一般访问的端口号是http://主机名加上8088（默认）

报错信息

解决办法

当jdk版本是1.8时常常会出现这个问题，直接修改hadoop中yarn-site.xml的配置并分发到各各集群,重新启动集群即可。

 <property>
    <name>yarn.nodemanager.vmem-pmem-ratio</name>
    <value>10</value>
</property>
<property>
    <name>yarn.nodemanager.vmem-check-enabled</name>
    <value>false</value>
</property>