Spark on Yarn运行错误:Yarn application has already ended! It might have been killed or unable to launch

本文详细解析了SparkonYarn模式下因虚拟机内存不足导致的任务失败问题,并提供了解决方案,通过修改yarn-site.xml配置禁用内存检查,确保任务顺利执行。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

Spark on Yarn模式运行错误:

bin/spark-shell --master yarn --deploy-mode client

#报错

查看8088页面上的工作日志

错误原因:在执行任务时检测到虚拟机的内存太小,2.2g的虚拟内存实际值,超过了2.1g的上限,不能满足该任务所需的内存要求,于是Yarn就干掉了执行此任务的contrainer。

解决办法:

在yarn-site.xml文件中加入以下两项配置:

<property>

        <name>yarn.nodemanager.pmem-check-enabled</name>

        <value>false</value>

    </property>

    <property>
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值