【记录】spark任务提交yarn-cluster一直accepted问题

最新推荐文章于 2024-06-20 16:36:33 发布
原创 最新推荐文章于 2024-06-20 16:36:33 发布 · 1.5k 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#spark #大数据 #hadoop

本文解决了两个关键问题：在ResourceManager上成功提交Spark任务但在其他机器上失败；使用YARN时，client模式正常，cluster模式一直accepted。通过检查并更正spark-env.sh中的HADOOP_CONF_DIR配置错误，解决了第一个问题。第二个问题则由于代码错误导致。

问题一：spark 提交任务时，在resourcemanager上提交任务能执行，在其他机器上提交不了
问题二：spark任务提交yarn时，用cilent模式不报错，换成cluster一直accepted

在这里插入图片描述
问题一排查：检查配置文件 spark-env.sh spark-defaults.conf
发现在spark-env.sh 中指定的 HADOOP_CONF_DIR 有误，并不是现在正在用的版本的hadoop的配置文件，在进行更改后，第一个问题解决

问题二排查：代码有误
在这里插入图片描述

槐序i
关注
Spark应用提交后一直不运行：hadoop-yarn ACCEPTED: waiting for AM container to be allocated, launched and registe
甘蓝的专栏
07-25 1633
记录一次Spark应用提交后一直无法运行的问题
执行Spark运行在yarn上的命令报错 spark-shell --master yarn-client
HiterCoder
04-22 883
执行Spark运行在yarn上的命令报错 spark-shell --master yarn-client 1、执行Spark运行在yarn上的命令报错 spark-shell --master yarn-client，错误如下所示： 18/04/22 09:28:22 ERROR SparkContext: Error initializi...
以yarn-client方式提交spark任务，任务一直卡在ACCEPTED状态
weixin_30851409的博客
07-12 3080
问题背景 spark是以客户端的方式安装的，并没有启动spark的mesos集群，这时候的spark就相当与hive客户端。 以local模型和yarn-cluster方式提交任务，都能正确额执行，但是一yarn-client方式就卡在ACCEPTED 问题原因 在网上查了资料，都说是资源不够用，需要调整yarn.scheduler.capacity.maximum-am-resource-per...
【解决】处于ACCEPTED状态不runnin…
热门推荐
flash胜龙的博客
04-21 2万+
Oozie提交pyspark任务后yarn 8088一直处于ACCEPTED状态不运行running 这个问题困扰了我一个周末……一个周末……（然后其实后面又困扰了一周） 而且重启注销，不懂是不是因为ubuntu kylin不稳定 【结果】是因为单集群的问题，导致yarn一次只能运行一个job。在服务器上跑就没有事儿，在自己的虚拟机上跑就不行，因为没配备多个虚拟机。——————【你以为是这样就大
一 spark on yarn cluster模式提交作业，一直处于ACCEPTED状态，改了Client模式后就正常了
雨果等夏天的博客
03-13 1万+
1. 提交spark作业到yarn，采用client模式的时候作业可以运行，但是采用cluster模式的时候作业会一直初一accept状态。 背景：这个测试环境的资源比较小，提交作业后一直处于accept状态，所以把作业的配置也设置的小。 submit 语句： spark-submit \ spark-submit \ --class a.kafka_streaming.KafkaConsu...
spark任务提交到yarn上，状态一直Accepted且不停止不报错
liu137612432的博客
09-08 6336
运行Spark集群时状态一直为Accepted且不停止不报错，如下面这样的情况： 一般是由于有多个用户同时向集群提交任务或一个用户向集群同时提交了多个任务导致Yarn资源的分配错误。解决这个问题，只需要更改Hadoop的配置文件：/etc/hadoop/conf/capacity-scheduler.xml，把选项：yarn.scheduler.capacity.maximum-am-resource-percent从0.1改成0.5。顾名思义，这个选项是增加Yarn可调度的资源量，当然也可以视具体情况增
Spark-2.1.2 Hadoop-2.7.5 spark-submit yarn client cluster两种模式提交
naruto00001的专栏
03-15 3243
（这个博客主要是留给很菜的自己看的）节点在云上，因为内外网IP和权限问题折腾了一段时间环境：spark:2.1.2hadoop:2.7.5java:1.8IDE:idea 各种弯路：--在IDEA上运行没有成功，spark standalone 模式下始终提示申请不到资源（待解决）每个节点8个core，32G memory，各取1个core，1024M memory，依然提示：WARN TaskS...
java 远程 yarn jar_在 idea 中以 yarn-client 远程提交 Spark 作业
weixin_29693211的博客
03-05 670
RemoteSubmitApp 主类package com.clouderaimport org.apache.kafka.clients.consumer.ConsumerConfigimport org.apache.kafka.common.serialization.StringDeserializerimport org.apache.log4j.Loggerimport org.apa...
hive on spark 的架构和常见问题 - hive on spark 使用的是 yarn client 模式还是 yarn cluster 模式？
明哥的IT随笔
06-20 900
来自官方的经典的 spark 架构图如下： 上述架构图，从进程的角度来讲，有四个角色/组件：
Spark作业一直处于ACCEPTED状态
qq_32068809的博客
02-25 3388
原因1：集群处于不健康状态 打开yarn监控页面，查看nodes 状态 如果Unhealthy Nodes列不为0，说明有的节点不健康，可以点进去查看详情，处理完并且集群处于健康状态后可尝试再次提交作业。
Spark提交程序到Yarn任务状态一直为Accepted
qq_45294435的博客
03-04 1175
有一个Flink任务一直处于running状态，导致yarn资源不足，后续的Spark任务一直处于Accepted状态。查看当前yarn是否有资源可供调度，如果资源不足，则无法正常运行任务。解决:把flink任务kill。
AWS EMR YARN集群提交任务一直处于ACCEPT状态
hongqiutiandi163的博客
07-28 3593
AWS EMR YARN集群提交任务一直处于ACCEPT状态 本集群是通过AWS EMR启动的，AWS EMR可以通过脚本配置需要提交的任务和运行的集群机器数量。但基本运行后，AWS就会启动一个集群，并将任务提交到集群上运行。 但是诡异的问题出现了（如下图）： 可以看到，我提交了四个任务，有一个任务处于RUNNING状态，另外三个处于ACCEPTED状态。但集群的总内存资源为1.05T，VCore为180个，已使用的内存为606.63 GB，已使用的VCore为51个。也就是说，当前集群还有大量的空闲资源
节点内DataNode磁盘使用率不均衡处理指导
hongtaq156136的专栏
01-29 1447
问题背景与现象 单个节点内DataNode的各磁盘使用率不均匀。 例如： 复制 <span style="color:#333333">189-39-235-71:~ # df -h Filesystem Size Used Avail Use% Mounted on /dev/xvda 360G 92G 250G 28% / /dev/xvdb 700G ...
spark streaming应用提交到yarn上一直处于ACCEPTED状态，也未报错
zhuge134的博客
03-21 6906
原因已经找到，这里做个记录，防止下次再犯类似的错误。实际上是因为代码中将运行模式设置为本地模式，在提交到yarn上后driver端的代码正常运行，并且也正常运行了很多批次。但由于是本地模式，所以driver不会向resourcemanager申请资源，所以也就不会向rm注册自己，这也就解释了为什么在yarn记录的应用的日志中提示应用未向rm注册。...
spark submit提交任务一直卡在ACCEPTED状态
qq_38250124的博客
07-20 3671
千辛万苦写好代码,打成jar包,spark submit提交运行到yarn 然后默默打开yarn界面查看运行的任务,但是半天不见任务名称,这可就奇了怪了 查看 yarn application --list | grep appName 发现状态一直是accepted 接收正常应该是running,之前的代码也没毛病,也能提交,也能运行 遂检查代码 发现 .setMaster("local[*]") //local本地 本地模式竟然没有注释掉,本地模式只能在本地运行,测试的时候使用,提交到.
spark on yarn提交任务后总是accepted以及通过yarn关闭application
微电子学与固体电子学-俞驰
05-01 5373
打开链接: http://Desktop:8088/proxy/application_1588324196554_0005/ 点击图中 Queue后面的default 会看到队列100% 解决方案[1]: 检查内存是否没释放 yarn application -list yarn application -kill application_1437456051228_...
spark在yarn-cluster模式下运行任务报错
chbxw
09-11 4017
spark在yarn-cluster模式下运行任务报错 不指定任何参数， 运行正常 spark-submit --master yarn-cluster --class com.chb.test.tongji.Test test.jar /apps/spark/source/ 00 当指定executor的配置，运行失败 spark-submit --master yarn --...
spark 序列化错误 集群提交时_Spark优化之二：集群上运行jar程序，状态一直Accepted且不停止不报错...
weixin_29284657的博客
12-24 297
如果运行Spark集群时状态一直为Accepted且不停止不报错，比如像下面这样的情况：15/06/14 11:33:33 INFO yarn.Client: Application report for application_1434263747091_0023 (state: ACCEPTED)15/06/14 11:33:34 INFO yarn.Client: Application r...
定时任务提交spark到yarn出现一直accepted以及yarn出现unhealthy情况
weixin_48445640的博客
08-29 865
最近定时系统发送的spark任务一直在跑但是无法成功，最终发现是yarn的问题，查看日志发现说tmp目录磁盘占额超过百分之90%，所以nodemanger一直出现unhealthy的情况，此时改变hadoop的core-site配置文件的/tmp目录，挂载到一个还有足够空间的地方重启yarn即可正常运行。 ...
spark on yarn
最新发布
11-29
首先，用户的问题是关于Spark在YARN上的使用、配置及相关问题解决方案。我需要根据提供的引用内容来构建回答。引用来自站内，所以我必须使用这些信息。 用户指令要求： - 所有行内数学表达式使用 `$...$`，但这个...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值