spark on yarn 运行报错 prelaunch.err.

最新推荐文章于 2024-08-04 22:16:38 发布
最新推荐文章于 2024-08-04 22:16:38 发布
阅读量6.8k 收藏 3
点赞数 2
CC 4.0 BY-SA版权
分类专栏： Spark 文章标签： spark on yarn
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/dudefu011/article/details/88874553

错误代码如下：

[2019-03-28 17:50:04.728]Container exited with a non-zero exit code 1. Error file: prelaunch.err.
Last 4096 bytes of prelaunch.err :
/hadoop/yarn/local/usercache/defu.du/appcache/application_1553763476904_0007/container_e03_1553763476904_0007_02_000005/launch_container.sh:行33: $PWD:$PWD/__spark_conf__:$PWD/__spark_libs__/*:$HADOOP_CONF_DIR:/usr/hdp/3.1.0.0-78/hadoop/*:/usr/hdp/3.1.0.0-78/hadoop/lib/*:/usr/hdp/current/hadoop-hdfs-client/*:/usr/hdp/current/hadoop-hdfs-client/lib/*:/usr/hdp/current/hadoop-yarn-client/*:/usr/hdp/current/hadoop-yarn-client/lib/*:$PWD/mr-framework/hadoop/share/hadoop/mapreduce/*:$PWD/mr-framework/hadoop/share/hadoop/mapreduce/lib/*:$PWD/mr-framework/hadoop/share/hadoop/common/*:$PWD/mr-framework/hadoop/share/hadoop/common/lib/*:$PWD/mr-framework/hadoop/share/hadoop/yarn/*:$PWD/mr-framework/hadoop/share/hadoop/yarn/lib/*:$PWD/mr-framework/hadoop/share/hadoop/hdfs/*:$PWD/mr-framework/hadoop/share/hadoop/hdfs/lib/*:$PWD/mr-framework/hadoop/share/hadoop/tools/lib/*:/usr/hdp/${hdp.version}/hadoop/lib/hadoop-lzo-0.6.0.${hdp.version}.jar:/etc/hadoop/conf/secure:$PWD/__spark_conf__/__hadoop_conf__: 坏的替换

[2019-03-28 17:50:04.729]Container exited with a non-zero exit code 1. Error file: prelaunch.err.
Last 4096 bytes of prelaunch.err :
/hadoop/yarn/local/usercache/defu.du/appcache/application_1553763476904_0007/container_e03_1553763476904_0007_02_000005/launch_container.sh:行33: $PWD:$PWD/__spark_conf__:$PWD/__spark_libs__/*:$HADOOP_CONF_DIR:/usr/hdp/3.1.0.0-78/hadoop/*:/usr/hdp/3.1.0.0-78/hadoop/lib/*:/usr/hdp/current/hadoop-hdfs-client/*:/usr/hdp/current/hadoop-hdfs-client/lib/*:/usr/hdp/current/hadoop-yarn-client/*:/usr/hdp/current/hadoop-yarn-client/lib/*:$PWD/mr-framework/hadoop/share/hadoop/mapreduce/*:$PWD/mr-framework/hadoop/share/hadoop/mapreduce/lib/*:$PWD/mr-framework/hadoop/share/hadoop/common/*:$PWD/mr-framework/hadoop/share/hado
最低0.47元/天 解锁文章

200万优质内容无限畅学
Container exited with a non-zero exit code 1 Failing this attempt. Failing the application.
ZMC921的博客
04-24 4066
最近在使用spark on yarn模式提交任务，下面是我测试的案例--提交命令spark-submit --master yarn-cluster --class com.htlx.sage.bigdata.spark.etl.Application --driver-memory 1g --num-executors 2 --executor-memory 2g --executor-core...
MapReduce程序运行异常Container exited with a non-zero exit code 1. Error file: prelaunch.err.
qq_38780623的博客
11-21 1万+
Container exited with a non-zero exit code 1. Error file: prelaunch.err.
Hadoop mapreduce 报错:Container exited with a non-zero exit code 127. Error file: prelaunch.err.
Natsu_natsu的博客
10-16 1730
Hadoop mapreduce 报错:Container exited with a non-zero exit code 127. Error file: prelaunch.err.
Container exited with a non-zero exit code 127. Error file: prelaunch.err.
qq_57867224的博客
08-04 786
问题描述：Container exited with a non-zero exit code 127. Error file: prelaunch.err. Last 4096 bytes of prelaunch.err : Last 4096 bytes of stderr : /bin/bash: /bin/java: No such file or directory。hadoop-env.sh再/hadoop/etc/hadoop的文件夹下。
hadoop伪分布式wordcount报错Container exited with a non-zero exit code 1. Error file: prelaunch.err
热门推荐
CHENYAoo的博客
10-18 2万+
按照教程搭建了伪分布式hadoop hadoop伪分布部署 环境 Ubuntu 16.04 openJDK7 运行wordcount时报错如下 [2018-10-18 19:40:27.332]Exception from container-launch. Container id: container_1539853922352_0003_01_000002 Exit code: 1 [20...
idea, 运行spark，报错：Containr exited with a non-zero exit code 13. Error file: prelaunch.err.
大爱不留
09-15 762
submit到yarn时，代码不能设置master为local，注释掉master("local[*]")即可。
PYSPARK ON YARN报错集合
weixin_45621200的博客
08-05 3428
pyspark报错整理
hive on spark 的架构和常见问题 - hive on spark 使用的是 yarn client 模式还是 yarn cluster 模式？
明哥的IT随笔
06-20 823
来自官方的经典的 spark 架构图如下： 上述架构图，从进程的角度来讲，有四个角色/组件：
SS00013.PBpositions——|Hadoop&PB级离线数仓.v01|——|Hive on Tez.v01|Hive on Tez|部署安装|
yanqi_vip
04-17 194
一、Hive on Tez概述 ### --- Hive on Tez ~~~ Hortonworks在2014年左右发布了Stinger Initiative， ~~~ 并进行社区分享，为的是让Hive支持更多SQL，并实现更好的性能。 ~~~ 让Hive的查询功能更强大。增加类似OVER子句的分析功能，支持WHERE子查询， ~~~ 以及调整Hiv...
Hive on Spark遇到的问题总结
草莓猿
07-18 2908
装了一个多星期的hive on spark 遇到了许多坑。还是写一篇随笔，免得以后自己忘记了。同事也给我一样苦逼的人参考。 先说明一下，这里说的Hive on Spark是Hive跑在Spark上，用的是Spark执行引擎，而不是MapReduce，和Hive on Tez的道理一样。 先看官网的资源Hive on Spark: Getting Started 要想在Hive中使用Spark执行引...
运行Mapreduce集群时候出现报错：Container exited with a non-zero exit code 1. Error file: prelaunch.err. Last 40
未来社会二十年发展的核心技术趋势由ABCD四个字母组成，分别是AI（人工智能）、BlockChain（区块链）、Cloud（云）、和Data（大数据）每一次进步都有新的认知和感触
11-20 4332
运行Mapreduce集群时候出现报错：Container exited with a non-zero exit code 1. Error file: prelaunch.err. Last 40...............，本文主要针对该问题进行详细的图文说明帮助解决该问题。
Container exited with a non-zero exit code 1. Error file: prelaunch.err.org.apache.hadoop.mapreduce.
colby_chenlun的博客
05-31 2万+
这两天闲的慌，装了一下新版本的HADOOP 3.2.1，的HA，装好之后，测试wordcount程序时报下面的错误 For more detailed output, check the application tracking page: http://hadoop102:8088/cluster/app/application_1590917926429_0002 Then click on links to logs of each attempt. . Failing the applicati
hadoop集群迁移， hive任务执行报错：Container exited with a non-zero exit code 1. Error file: prelaunch.err
A_single_cat的博客
12-02 5451
hadoop 集群迁移 ， apache原生版本迁移到cdh版本时 ， hive任务执行报错： Container exited with a non-zero exit code 1. Error file: prelaunch.err. Last 4096 bytes of prelaunch.err : Last 4096 bytes of stderr : 因为未改动脚本， 以为是集群问题，期间尝试了以下方法， 发现并无效果： #在mapred-site.xml文件中添加mapreduce
spark on yarn container exited with a non-zero exited code 1 error file ：prelaunch。err
qq_41581936的博客
04-17 2035
在cdh集群上执行spark的demo可以跑通，但是在执行脚本跑jar包读写数据的时候，报错，请各位大佬帮忙看看 报错信息见图
Container exited with a non-zero exit code 13. Error file: prelaunch.err.
窦永厚
12-20 2106
spark提交报这个错，主要原因是你在代码中指的的是local模式，二用spark-submit提交是指定了yarn集群模式，所以报这个错了，他找不到你的yarn集群。
执行hadoop-3.3.0 wc 报错Container exited with a non-zero exit code 1. Error file: prelaunch.err.
top_explore的博客
01-27 8278
报错 Application application_1611732673035_0001 failed 2 times due to AM Container for appattempt_1611732673035_0001_000002 exited with exitCode: 1 Failing this attempt.Diagnostics: [2021-01-27 02:32:14.002]Exception from container-launch. Container id:
Hadoop解决yarn报错Container exited with a non-zero exit code 1. Error file: prelaunch.err.
weixin_65396304的博客
07-23 2836
Hadoop解决yarn报错Container exited with a non-zero exit code 1. Error file: prelaunch.err.
Hadoop搭建高可用集群，出现Container exited with a non-zero exit code 1. Error file: prelaunch.err.
l1682686的博客
09-02 7906
前情提要： 搭建好Hadoop HA集群后，试着跑一个wordcount， 结果居然出了这个问题： Container exited with a non-zero exit code 1. Error file: prelaunch.err. 捏????，怎么回事？之前伪分布式或者非高可用的完全分布式好像没有这个问题啊？ 于是百度，噢，原来是mapred-site.xml和yarn-site.xml里要加上classpath 输入hadoop classpath，出来一大串 然后复制这一大串，到map
[2025-07-28 11:15:54.557]Container exited with a non-zero exit code 1. Error file: prelaunch.err. Last 4096 bytes of prelaunch.err : Last 4096 bytes of stderr : 错误: 找不到或无法加载主类 org.apache.spark.deploy.yarn.ExecutorLauncher
最新发布
07-29
<think>我们正在处理一个关于Spark YARN ExecutorLauncher类找不到的错误。根据用户提供的信息，错误信息是：找不到主类'org.apache.spark.deploy.yarn.ExecutorLauncher'。我们将根据Spark和YARN的工作原理来逐步分析问题。 ### 错误分析 在Spark on YARN模式下，当提交应用程序时，YARN ResourceManager会启动一个Application Master（AM）容器。AM负责向ResourceManager申请资源，并在NodeManager上启动Executor容器。`ExecutorLauncher`是Spark中用于YARN集群模式下启动Executor的类。 出现类找不到的错误通常有以下几种原因： 1. **依赖缺失**：提交作业时没有正确包含Spark的依赖库，特别是`spark-yarn`模块。 2. **类路径配置错误**：YARN的类路径配置不正确，导致NodeManager无法找到Spark的相关类。 3. **Spark版本不兼容**：使用的Spark版本与YARN集群的版本存在兼容性问题。 4. **打包问题**：如果使用`spark-submit`提交作业，可能没有正确设置`--jars`或`--packages`参数，或者在使用自定义jar包时没有包含必要的依赖。 ### 解决步骤 #### 1. 检查Spark提交命令 确保提交命令正确，特别是在cluster模式下。例如： ```bash ./bin/spark-submit --class your.main.Class \ --master yarn \ --deploy-mode cluster \ --executor-memory 2g \ --num-executors 10 \ your-application.jar ``` #### 2. 确保Spark的YARN支持库存在 在Spark的安装目录中，`spark-yarn`模块的JAR文件（例如`spark-yarn_2.12-3.x.x.jar`）必须存在。这个JAR文件通常位于Spark的`jars`目录下。如果缺失，需要重新安装Spark或下载对应的JAR文件。 #### 3. 检查YARN的配置 在YARN集群中，需要确保NodeManager能够访问Spark的JAR文件。通常，有两种方式： - **将Spark的JAR文件上传到HDFS**：在Spark的配置中，可以设置`spark.yarn.archive`或`spark.yarn.jars`指向HDFS上的Spark依赖库。这样，YARN会在运行任务时从HDFS下载这些依赖。 例如，在`spark-defaults.conf`中配置： ``` spark.yarn.archive hdfs:///spark-libs/spark-libs.jar ``` 其中`spark-libs.jar`是一个包含所有Spark依赖的归档文件（可以通过`jar cvf`命令将Spark的jars目录打包）。 - **使用本地路径**：如果YARN集群的所有节点上都安装了相同路径的Spark，那么可以通过设置`spark.yarn.jars`指向本地路径（不推荐，因为需要所有节点一致）。 #### 4. 检查类路径配置 在YARN的配置中（`yarn-site.xml`），确保`yarn.application.classpath`包含了Spark的JAR文件路径。例如： ```xml <property> <name>yarn.application.classpath</name> <value> /etc/hadoop/conf, /usr/lib/hadoop/*,/usr/lib/hadoop/lib/*, /usr/lib/hadoop-hdfs/*,/usr/lib/hadoop-hdfs/lib/*, /usr/lib/hadoop-yarn/*,/usr/lib/hadoop-yarn/lib/*, /usr/lib/spark/jars/* <!-- 添加Spark的jars目录 --> </value> </property> ``` #### 5. 检查Spark版本 确保使用的Spark版本与YARN集群兼容。例如，Spark 3.x通常要求YARN版本在2.7以上。 #### 6. 日志分析 查看YARN的日志，特别是Application Master的日志，可以获取更详细的错误信息。通过YARN ResourceManager的Web UI（通常在8088端口）可以访问到日志。 #### 7. 重新打包应用程序 如果是使用`spark-submit`提交作业，并且应用程序包含自定义的依赖，确保使用`--jars`或`--packages`参数包含了所有依赖。或者，使用`--conf spark.yarn.archive`指定一个包含所有依赖的归档文件。 ### 总结 这个错误通常是由于Spark的YARN支持库没有被正确加载导致的。通过检查Spark提交命令、配置`spark.yarn.archive`或`spark.yarn.jars`、以及验证YARN的类路径，可以解决这个问题。 如果上述步骤不能解决问题，请检查具体的Spark和YARN版本，并查阅对应版本的官方文档。 §§相关问题§§ 1. 如何配置Spark的`spark.yarn.archive`属性？ 2. 如何查看YARN应用程序的日志以诊断错误？ 3. Spark on YARN模式下常见的类加载问题有哪些？ 4. 如何解决YARN集群中的依赖冲突问题？</think>### Spark YARN ExecutorLauncher类找不到错误排查指南 #### 问题分析 `org.apache.spark.deploy.yarn.ExecutorLauncher` 是 Spark on YARN 模式下的核心组件，负责启动 Executor 进程。类加载失败通常由以下原因引起： 1. **依赖缺失** YARN 集群节点缺少 Spark 依赖库，特别是 `spark-yarn` 模块 JAR 文件（如 `spark-yarn_2.12-3.x.x.jar`）。 *验证命令*: ```bash ls $SPARK_HOME/jars/spark-yarn* ``` 2. **类路径配置错误** YARN 的类路径未包含 Spark JAR 文件目录[^3]。检查 `yarn-site.xml` 配置： ```xml <property> <name>yarn.application.classpath</name> <value> /etc/hadoop/conf, /usr/lib/hadoop/*,/usr/lib/hadoop/lib/*, /usr/lib/hadoop-hdfs/*, /usr/lib/spark/jars/* <!-- 确保此路径存在 --> </value> </property> ``` 3. **部署模式冲突** `yarn-cluster` 模式需要完整的 Spark 依赖部署到集群节点，而 `yarn-client` 模式依赖本地环境[^2][^3]。 4. **资源提交问题** Spark 未正确上传依赖到 HDFS，检查 `spark-submit` 参数： ```bash spark-submit --master yarn --deploy-mode cluster \ --conf spark.yarn.archive=hdfs:///spark-libs/spark-libs.jar \ ... ``` #### 解决方案 ##### 步骤1：验证依赖完整性 ```bash # 检查所有节点上的 Spark jars 目录 find $SPARK_HOME/jars -name "*yarn*.jar" ``` 若无输出，需重新安装 Spark 或补充缺失 JAR。 ##### 步骤2：配置类路径 1. 在所有 YARN 节点创建统一路径： ```bash sudo mkdir -p /usr/lib/spark/jars sudo cp $SPARK_HOME/jars/* /usr/lib/spark/jars ``` 2. 在 `yarn-site.xml` 添加路径： ```xml <property> <name>yarn.application.classpath</name> <value>..., /usr/lib/spark/jars/*</value> </property> ``` 3. 重启 YARN 服务： ```bash yarn --daemon stop resourcemanager yarn --daemon start resourcemanager ``` ##### 步骤3：使用归档提交依赖 ```bash # 创建依赖归档并上传 HDFS jar cvf spark-libs.jar -C $SPARK_HOME/jars . hadoop fs -put spark-libs.jar /spark-libs/ # 提交任务时指定归档 spark-submit --master yarn \ --deploy-mode cluster \ --conf spark.yarn.archive=hdfs:///spark-libs/spark-libs.jar \ ... ``` ##### 步骤4：检查版本兼容性 确认组件版本匹配： - Spark 3.x 需要 Hadoop 3.2+/YARN 3.1+ - 使用 `spark-submit --version` 和 `yarn version` 验证 #### 典型错误场景 ```log Error: Could not find or load main class org.apache.spark.deploy.yarn.ExecutorLauncher ``` 此错误表明 YARN NodeManager 在启动容器时无法定位 Spark 核心类[^3]。 #### 预防措施 1. 使用统一的基础镜像部署集群节点 2. 定期验证类路径配置： ```bash yarn classpath --glob | grep spark-yarn ``` 3. 在 CI/CD 流程中加入依赖检查
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值