一 spark on yarn cluster模式提交作业,一直处于ACCEPTED状态,改了Client模式后就正常了

本文记录了一个Spark作业在YARN上采用cluster模式提交时遇到的问题,即作业一直处于accept状态无法运行。文章详细描述了测试环境的资源情况、提交命令及错误日志,并提供了尝试的解决方案。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

1. 提交spark作业到yarn,采用client模式的时候作业可以运行,但是采用cluster模式的时候作业会一直初一accept状态。

背景:这个测试环境的资源比较小,提交作业后一直处于accept状态,所以把作业的配置也设置的小。

submit 语句:
spark-submit \
spark-submit \
--class a.kafka_streaming.KafkaConsumer    \
--master yarn    \
--deploy-mode cluster \
--driver-memory 1G \
--num-executors 1 \
--executor-cores 1 \
--executor-memory 1G \
--jars spark-streaming-kafka_2.10-1.6.2.jar,kafka_2.10-0.8.2.1.jar,metrics-core-2.2.0.jar \
my_streaming.jar


2: 报错如下:


18/03/13 09:51:57 INFO Client: Application report for application_1520510149375_0015 (state: ACCEPTED)
18/03/13 09:51:58 INFO Client: Application report for application_1520510149375_0015 (state: ACCEPTED)
18/03/13 09:51:59 INFO Client: Application report for application_1520510149375_0015 (state: ACCEPTED)
18/03/13 09:52:00 INFO Client: Application report for application_1520510149375_0015 (state: ACCEPTED)
18/03/13 09:52:01 INFO Client: Application report for application_1520510149375_0015 (state: ACCEPTED)
18/03/13 09:52:02 INFO Client: Application report for application_1520510149375_0015 (state: ACCEPTED)

3:环境的资源少了,

4: 措施(最后这个问题还是没有解决):

1:把以下配置有1G调小,

yarn.scheduler.minimum-allocation-mb: 256m

2 修改capacity-scheduler.xml。

yarn.scheduler.capacity.maximum-am-resource-percent从更改0.1为0.5。

3:也可以把Driver和Executor的内存设置到合适位置(不能大也不能小)

评论 4
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值