Spark Stack trace: ExitCodeException

最新推荐文章于 2025-05-29 21:40:27 发布
最新推荐文章于 2025-05-29 21:40:27 发布
阅读量411 收藏 8
点赞数 7
文章标签： spark
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/Logan_addoil/article/details/135462199
版权
本文介绍了如何在HadoopYARN环境中，通过applicationId来有效地查看和分析分布式计算任务的报错日志，以协助故障排查和性能优化。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

可以直接根据applicationId查看报错日志内容

yarn logs -applicationId  xxxxxx
spark structured straming: ExitCodeException exitCode=1
九师兄
07-04 1049
[deploy@fideploy ~]$ spark2-submit --keytab /etc/security/keytabs/hdfs.keytab --principal hdfs@HADOOP.COM --conf spark.driver.host=192.168.xxx.xx --class com.dtwave.cheetah.node.spark.structured.stre...
Spark ： ExitCodeException exitCode=15，exitCode=13
九师兄
07-04 5408
1. ExitCodeException exitCode=13 1.1 背景 做spark程序的时候，在代码中写的是 println(masterUrl) val spark = SparkSession.builder .appName("JavaStructuredKafka") .master(masterUrl) .enableHiveSupport .getOrCreate...
spark出现Stack trace: ExitCodeException exitCode=13
微电子学与固体电子学-俞驰
04-29 1万+
$ spark-submit --class WordCountLocal --master yarn --deploy-mode cluster scalalearn-1.0-SNAPSHOT-jar-with-dependencies.jar 2020-04-29 19:10:20 INFO RMProxy:98 - Connecting to ResourceManager at D...
Stack trace: ExitCodeException exitCode=10:
weixin_33946605的博客
03-15 2062
2019独角兽企业重金招聘Python工程师标准>>> ...
spark运行异常及解决：Exception from container-launch.Exit code: 1 Stack trace: ExitCodeException exitCode=1:
Therefore的专栏
11-29 5260
yarn主界面状态显示failed，显示如下： Diagnostics: Exception from container-launch. Container id: container_1574829788169_0011_02_000001 Exit code: 1 Stack trace: ExitCodeException exitCode=1: at org.apache.h...
【异常】Container exited with a non-zero exit code 1 Failing this attempt.Stack trace: ExitCodeException
asdfgh0077的博客
04-20 491
【异常】Container exited with a non-zero exit code 1 Failing this attempt.Stack trace: ExitCodeException
yarn Stack trace: ExitCodeException exitCode=127:
u014724199的博客
09-20 3377
报错: Job job_1537433842491_0002 failed with state FAILED due to: Application application_1537433842491_0002 failed 2 times due to AM Container for appattempt_1537433842491_0002_000002 exited with  exi...
Stack trace: ExitCodeException exitCode=15 OR File does not exist: hdfs:/spark2-history
彬正的博客
08-16 2022
spark on yarn集群运行程序报错:Stack trace: ExitCodeException exitCode=15: 查看yarn的聚合日志，将日志下载下来查看。 yarn logs -applicationId application_1522668922644_40211 -out ./info 发现日志内的错误如下 java.io.FileNotFoundExcepti...
YARN调度报错Stack trace: ExitCodeException exitCode=1解决方式
热门推荐
走过路过
12-11 3万+
网上有很多解释，但是都不适合我，单纯看表面的堆栈信息，很容易迷惑，应该深入查看ApplicationMaster和NodeManager的日志。碰到过很多异常会有不合理的展示，导致使用者被表面迷糊，很难快速定位问题。 问题的具体堆栈信息如下Stack trace: ExitCodeException exitCode=1: at org.apache.hadoop.util.Shel
Stack trace: ExitCodeException exitCode=15 OR File does not exist: hdfs:/spark2-history
ZMC921的博客
05-16 9043
spark on yarn集群运行程序报错:Stack trace: ExitCodeException exitCode=15:查看yarn的聚合日志，将日志下载下来查看。yarn logs -applicationId application_1522668922644_40211 -out ./info发现日志内的错误如下java.io.FileNotFoundException: File...
Kafka + Flink + Spark 构建实时数仓全链路实战
晴天彩虹雨的博客
05-24 790
本文详细介绍了基于Kafka+Flink+Spark构建实时数仓的全链路方案。架构包含数据源接入层（Kafka多Topic解耦）、实时处理层（Flink清洗/聚合）、离线补数层（Spark批量处理）以及指标服务层（DWS/ADS）。重点阐述了Kafka主题设计、Flink实时处理逻辑、Spark离线补数机制及数据一致性保障方案，并提供了实践建议和典型场景处理方法。该架构实现了秒级指标刷新、数据可追溯性及多业务域扩展能力，为现代实时数仓建设提供了标准化解决方案。
spark-AQE/Tungsten介绍及其触发条件
认真学代码的shell
05-29 454
定义：Spark 3.0引入的自适应查询优化技术运行时动态调整执行计划。核心能力动态分区合并：自动合并小分区以减少Shuffle数据量。自动Broadcast Join：根据数据量动态切换Join策略。Skew Join优化：识别数据倾斜并自动调整分区策略。配置参数Tungsten（钨丝计划）定义：Spark 1.6推出的底层性能优化框架，通过内存管理和代码生成提升效率。关键技术内存列式存储：减少内存占用并提升缓存利用率。代码生成（Codegen）：动态生成JVM字节码替代解释执行。
大数据Spark（六十）：Spark On Yarn 配置
Lansonli（蓝深李）的博客
05-25 1070
本文介绍了如何配置SparkOnYarn环境，主要包括：1）将Spark安装包解压到node5节点；2）配置spark-env.sh文件，指定Hadoop配置文件路径；3）关闭NodeManager虚拟内存检查。最后通过提交SparkPi任务测试配置是否成功，验证了Spark在Yarn上的正常运行。配置过程需要注意Hadoop集群环境准备及参数设置。
「读书报告」Spark实时大数据分析
ailx10
05-26 407
【摘要】作者回顾了自己从网络安全研发转向大数据开发的经历。2018-2020年间，作者因工作需要接触大数据技术，虽然不喜某本清华大学出版社的大数据书籍，但这段跨界经历为其后续取得10项网络安全专利和CISSP认证奠定了基础。文章还列出了作者撰写的Spark技术系列教程，展现了其技术转型过程。这段职业"弯路"最终成就了作者在安全领域的专业发展。
数据仓库分层 4 层模型是什么？
最新发布
Mirrorship的博客
05-29 597
数据仓库分层 4 层模型是一种被广泛采用的架构设计，它将数据仓库划分为四个功能明确的层次：ODS 层、DWD 层、DWS 层和 ADS 层。每一层都有其特定的职责和处理逻辑，共同构成了一个完整的数据处理流程。
spark- ResultStage 和 ShuffleMapStage介绍
认真学代码的shell
05-28 951
维度触发条件Transformation 中的 Shuffle 操作Action 操作数据流向输出到 Shuffle 文件供下游读取输出到 Driver 或外部存储任务类型ResultTask依赖类型宽依赖（可能被多个下游 Stage 依赖）无下游依赖是否缓存数据通常不缓存（除非手动persist结果直接输出，不保留。
4.1.1 Spark SQL概述
howard2005的专栏
05-29 172
Spark SQL是Apache Spark的一个模块，专门用于处理结构化数据。它引入了DataFrame这一编程抽象，DataFrame是带有Schema信息的分布式数据集合，类似于关系型数据库中的表。用户可以通过SQL、DataFrames API和Datasets API三种方式操作结构化数据。Spark SQL的发展经历了从Hive on Spark到Shark，再到完全独立的Spark SQL的过程，不断优化性能和功能。
大数据学习（124）-spark数据倾斜
weixin_61006262的博客
05-29 286
scala// 实现自定义分区器，将倾斜键分散到不同分区// 对倾斜键进行哈希分散} else {// 非倾斜键使用默认分区math.abs(strKey.hashCode) % (partitions / 10) // 减少非倾斜键分区数// 使用自定义分区器。
INFO Client:54 - client token: N/A diagnostics: Application application_1686359558924_0001 failed 2 times due to AM Container for appattempt_1686359558924_0001_000002 exited with exitCode: 13 For more detailed output, check application tracking page:http://spark01:8088/cluster/app/application_1686359558924_0001Then, click on links to logs of each attempt. Diagnostics: Exception from container-launch. Container id: container_e01_1686359558924_0001_02_000001 Exit code: 13 Stack trace: ExitCodeException exitCode=13: at org.apache.hadoop.util.Shell.runCommand(Shell.java:585) at org.apache.hadoop.util.Shell.run(Shell.java:482) at org.apache.hadoop.util.Shell$ShellCommandExecutor.execute(Shell.java:776) at org.apache.hadoop.yarn.server.nodemanager.DefaultContainerExecutor.launchContainer(DefaultContainerExecutor.java:212) at org.apache.hadoop.yarn.server.nodemanager.containermanager.launcher.ContainerLaunch.call(ContainerLaunch.java:302) at org.apache.hadoop.yarn.server.nodemanager.containermanager.launcher.ContainerLaunch.call(ContainerLaunch.java:82) at java.util.concurrent.FutureTask.run(FutureTask.java:266) at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1149) at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:624) at java.lang.Thread.run(Thread.java:748) Container exited with a non-zero exit code 13 Failing this attempt. Failing the application. ApplicationMaster host: N/A ApplicationMaster RPC port: -1 queue: default start time: 1686359786278 final status: FAILED tracking URL: http://spark01:8088/cluster/app/application_1686359558924_0001 user: root Exception in thread "main" org.apache.spark.SparkException: Application application_1686359558924_0001 finished with failed status at org.apache.spark.deploy.yarn.Client.run(Client.scala:1165) at org.apache.spark.deploy.yarn.YarnClusterApplication.start(Client.scala:1520) at org.apache.spark.deploy.SparkSubmit$.org$apache$spark$deploy$SparkSubmit$$runMain(SparkSubmit.scala:894) at org.apache.spark.deploy.SparkSubmit$.doRunMain$1(SparkSubmit.scala:198) at org.apache.spark.deploy.SparkSubmit$.submit(SparkSubmit.scala:228) at org.apache.spark.deploy.SparkSubmit$.main(SparkSubmit.scala:137) at org.apache.spark.deploy.SparkSubmit.main(SparkSubmit.scala) 2023-06-10 09:20:01 INFO ShutdownHookManager:54 - Shutdown hook called 2023-06-10 09:20:01 INFO ShutdownHookManager:54 - Deleting directory /tmp/spark-7a611aba-e3f1-4ee9-9829-f1bc45c9348d 2023-06-10 09:20:01 INFO ShutdownHookManager:54 - Deleting directory /tmp/spark-b69c8ca8-924f-430e-9a7c-625efd9e9f47
06-11
这个错误信息是关于Spark应用程序在YARN上启动时出现的问题。它表明应用程序的某个尝试失败了，退出代码为13，导致应用程序最终失败。具体原因需要进一步分析应用程序代码和YARN日志信息。可能的原因包括资源不足、...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值