Stack trace: ExitCodeException exitCode=15 OR File does not exist: hdfs:/spark2-history

最新推荐文章于 2022-09-12 21:30:04 发布
原创 最新推荐文章于 2022-09-12 21:30:04 发布 · 9k 阅读 · 5 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

在Spark on YARN集群运行程序时遇到ExitCodeException exitCode=15的错误，日志显示`File does not exist: hdfs:/spark2-history`。问题源于HDFS上缺少`/spark2-history`文件夹，尝试创建时遇到权限问题。解决方案是使用`sudo -u hdfs hadoop fs -mkdir /spark2-history`以HDFS用户身份创建文件夹，并通过`sudo -u hdfs hadoop fs -chown spark:hadoop /spark2-history`修改权限。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

spark on yarn集群运行程序报错:Stack trace: ExitCodeException exitCode=15:

查看yarn的聚合日志，将日志下载下来查看。

yarn logs -applicationId application_1522668922644_40211 -out ./info

发现日志内的错误如下

java.io.FileNotFoundException: File does not exist: hdfs:/spark2-history

是因为在HDFS上没改文件夹，然后我们去创建

# hdfs dfs -mkdir /spark2-history

有发现我们没有权限


产生问题原因：

      环境hadoop2，Ambari创建<

最低0.47元/天 解锁文章

200万优质内容无限畅学
Spark ： ExitCodeException exitCode=15，exitCode=13
九师兄
07-04 5437
1. ExitCodeException exitCode=13 1.1 背景 做spark程序的时候，在代码中写的是 println(masterUrl) val spark = SparkSession.builder .appName("JavaStructuredKafka") .master(masterUrl) .enableHiveSupport .getOrCreate...
[Spark版本更新]--Spark-2.0.1版本的最新改动
欢迎来到我的博客，一起探索代码里的世界！
11-12 6770
spark-2.0.1版本的最新改动 Sub-task(子任务) [SPARK-15232] - Add subquery SQL building tests to LogicalPlanToSQLSuite [SPARK-15698] - Ability to remove old metadata for structure streaming MetadataLog [SPARK-...
YARN调度报错Stack trace: ExitCodeException exitCode=1解决方式
走过路过
12-11 3万+
网上有很多解释，但是都不适合我，单纯看表面的堆栈信息，很容易迷惑，应该深入查看ApplicationMaster和NodeManager的日志。碰到过很多异常会有不合理的展示，导致使用者被表面迷糊，很难快速定位问题。 问题的具体堆栈信息如下Stack trace: ExitCodeException exitCode=1: at org.apache.hadoop.util.Shel
Error: ADB exited with exit code -15
han1140521792的博客
07-01 1346
正在解决中....
spark报错File does not exist: hdfs://master:9000/sparkhistory
dorothy400的博客
02-12 5466
spark报错 File does not exist: hdfs://master:9000/sparkhistory hdfs dfs -mkdir /sparkhistory 更多解释详见 https://blog.youkuaiyun.com/zmc921/article/details/80338267
Container exited with a non-zero exit code 15
初冬听雪的博客
06-09 4735
最近在自己搭建的spark on yarn跑测试程序，提交代码之后就遇到Container exited with a non-zero exit code 15这个错误，仔细检查后发现是代码中创建sparkConf有setMaster("local[*]") 定位到问题代码处： 在平时开发中难免会本地测试一下然后提交集群验证，一定要注意提交到集群注释掉这个local，大多都会在spark-submit中指定master和deploy-mode。 以后在集群跑程序遇到这个code=15时就检查.
【Hadoop集群系列-3】分布式集群运行wordcount报错exited with exitCode: 1【Error: Could not find or load main class】
lynne_cat的博客
11-12 1302
一、集群情况 集群搭建过程见https://blog.youkuaiyun.com/lynne_cat/article/details/102975026 二、运行命令 bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.7.jar grep input output 'dfs[a-z.]+' 三、报错信息 命令行输...
21.Yarn的目录权限问题导致MR异常
大勇若怯任卷舒
07-08 591
21.1 问题情况 Hive的MapReduce(后面用MR来简称MapReduce)作业无法正常运行，日志如下： 0: jdbc:hive2://localhost:10000>select count(*) from student; … command(queryId=hive_20170902081616_d676f921-c62c-4fac-84b9-272663a2fca0); Timetaken: 10.029 seconds Error: Error while processi
【Flink】Flink 提交任务报错 File does not exit /tmp/application_xxx-flink-conf.yml
九师兄
09-12 1619
Flink 升级报错这个错误可能有什么原因导致的呢？我从Hadoop2升级到Hadoop3，一切都配置完成了，发布的时候有这个问题，我是不是遗漏了什么配置？根据报错找到相应的源码这个地方为什么上面明明创建了本地配置文件，然后下面注册本地资源的时候报找不到该本地配置文件呢？这个方法不应该返回true的最终解决：仔细检查了下配置，fs.scheme用了其他位置的设置。结果判断出了是remotePath。
spark-submit 以yarn-cluter 提交job 定位错误之旅
dymkkj的专栏
04-01 1575
           最近用spark结合开发spark程序,发现挺方便,但是遇到不少问题,其中就是spark-submit 提交作业,折腾了我一天,闲言少叙,上问题:1.提交作业spark-submit  --class com.myd.cn.SparkTest  --master yarn  --deploy-mode cluster --executor-memory 2g --jars /...
cdh 运行spark yarn-cluster
KNIFE_PAN的专栏
04-23 4905
1.如果用cdh安装sparn on yarn 直接用集群模式运行spark-submit --class org.apache.spark.examples.SparkPi \ --master yarn-cluster \ --num-executors 3 \ --driver-memory 4g \ --executor-memory 2g \ -
Stack trace: ExitCodeException exitCode=1:
turboMan的博客
05-30 7347
15/12/27 22:40:29 INFO mapreduce.Job:  map 0% reduce 0% 15/12/27 22:40:29 INFO mapreduce.Job: Job job_1451283482913_0002 failed with state FAILED due to: Application application_1451283482913_0002 fa
flink提交到yarn报错:Stack trace: ExitCodeException exitCode=3
BrotherDong90的专栏
03-27 3564
2018-03-27 03:42:43,792 INFO org.apache.hadoop.yarn.server.resourcemanager.rmapp.RMAppImpl: Application application_1522121766020_0001 failed 2 times due to AM Container for appattempt_1522121766020_0...
java.lang.IllegalArgumentException: Required executor memory (1024), overhead (384 MB), and PySpark
Mrerlou的博客
05-21 772
ERROR spark.SparkContext: Error initializing SparkContext. java.lang.IllegalArgumentException: Required executor memory (1024), overhead (384 MB), and PySpark memory (0 MB) is above the max thre...
yarn Stack trace: ExitCodeException exitCode=127:
u014724199的博客
09-20 3397
报错: Job job_1537433842491_0002 failed with state FAILED due to: Application application_1537433842491_0002 failed 2 times due to AM Container for appattempt_1537433842491_0002_000002 exited with  exi...
Hadoop常见异常及其解决方案
apple01010105的博客
07-09 604
1、Shell$ExitCodeException 现象：运行hadoop job时出现如下异常： 14/07/09 14:42:50 INFO mapreduce.Job: Task Id : attempt_1404886826875_0007_m_000000_1, Status : FAILED Exception from container-launch...
Linux进程被信号杀死后退出状态码(exit code)的分析
热门推荐
halfclear的博客
05-27 6万+
linux系统下，进程对信号的默认响应方式有5种： 1）  忽略信号，即当做没收到信号一样； 2）  终止进程； 3）  产生核心转储文件，同时进程终止； 4）  停止进程，即暂停进程的执行； 5）  于之前的暂停之后恢复执行； 处理方式2和3都会导致进程终止执行立即退出，处理方式1、4、5不会造成进程终止执行。因此，可以将信号粗略的分为两类，一类是会导致进程终止并退出的信号；另一类则
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值