spark2.2.1中 spark.yarn.jars | spark.yarn.archive的正确配置

最新推荐文章于 2024-03-26 17:38:33 发布
原创 最新推荐文章于 2024-03-26 17:38:33 发布 · 4.8k 阅读 · 5 ·
CC 4.0 BY-SA版权
欢迎转载，注明作者和出处就好！如果有任何问题或文章存在明显的谬误，请留言说明原因谢谢，我也可以知道原因，不断进步！
文章标签：

#spark #yarn

本文介绍了解决 Spark 在 YARN 集群中部署时遇到的 ExecutorLauncher 错误的方法，包括创建并上传 jar 包、调整 spark-default.conf 配置文件中的内存设置。

【ERROR】 错误: 找不到或无法加载主类 org.apache.spark.deploy.yarn.ExecutorLauncher End
Could not find or load main class org.apache.spark.deploy.yarn.ExecutorLauncher
Application failed 2 times due to AM Container: exited with exitCode: 1

【ERROR】 spark.SparkContext: Error initializing SparkContext.

解决方案：
1. 创建 archive: jar cv0f spark-libs.jar -C $SPARK_HOME/jars/ .
2. 上传jar包到 HDFS: hdfs dfs -put spark-libs.jar /some/path/
3. 在spark-default.conf中设置 spark.yarn.archive=hdfs:///some/path/spark-libs.jar
或者 spark.yarn.jars=hdfs:///some/path/*.jar

另外对于自己配置的yarn集群(内存空间有限的情况下)，尽量减小内存设定，在spark-default.conf中设置：

spark.yarn.am.memory=512M
spark.driver.memory=512M
spark.executor.memory=512M
spark on yarn 配置及异常解决
主要分享大数据相关的知识，如Spark、Hudi
05-08 1264
转载请务必注明原创地址为：http://dongkelun.com/2018/04/16/sparkOnYarnConf/ 前言 YARN 是在Hadoop 2.0 中引入的集群管理器，它可以让多种数据处理框架运行在一个共享的资源池上，并且通常安装在与Hadoop 文件系统（简称HDFS）相同的物理节点上。在这样配置的YARN 集群上运行Spark 是很有意义的，它可以让Spark 在存储数据...
spark 2.X 版本各种疑难问题汇总
是故事啊~关注我~
08-19 2153
当前spark任务都是运行在yarn上，所以不用启动长进程worker，也没有master的HA问题，所以主要的问题在任务执行层面。 作业故障分类 故障主要分为版本，内存和权限三方面。 各种版本不一致 各种内存溢出 其他问题 版本不一致 1）java版本不一致 报错：java.lang.UnsupportedClassVersionError: com/immomo/recommend/RedisDao: Unsupported major.minor version 52.0 处理：该问题一般是spa
spark.yarn.archive spark.yarn.jars 的设置
naruto00001的专栏
03-16 7348
为什么要设置呢？摘自Spark-2.3.0官方文档 http://spark.apache.org/docs/latest/running-on-yarn.html#preparations（个人理解：spark运行所需的jar包，不设置的话每次运行就需要上传到yarn管理的各个节点的缓存，很麻烦很影响性能。如果设置了，比如说放在HDFS上，就不需要每次都上传而是从HDFS上读取，能快那么一点点…...
spark standalone启动报错 Error: Could not find or load main class org.apache.spark.deploy.worker.Worker
最新发布
日常学习与专研的记录
03-26 707
解决报错：Error: Could not find or load main class org.apache.spark.deploy.worker.Worker node10: failed to launch: nice -n 0 /xxx/bin/spark-class org.apache.spark.deploy.worke
spark：一些bug的解决方案 （IDEA & JAVA）
weixin_45730125的博客
07-06 737
spark（java）一些bug的解决方案
spark.yarn.archive spark.yarn.jars
我的祖传代码
03-25 1513
参考自：http://spark.apache.org/docs/latest/running-on-yarn.html#preparations 在spark on yarn模式下，/usr/local/spark-current2.3/conf下的spark-defaults.conf配置文件有一个spark.yarn.archive配置项 1.如果没有配置 #spark.yarn.a...
spark提交命令中的jars设置方式
chun的博客
04-23 613
此方法是在大数据平台架构与原型实现：数据中台建设实战这本书上看到的之前我们使用的方式是将所有jar的名字加入到配置文件中，提取为jars参数。
Spark 2.2.1集成CDH5.14.2大数据平台发布
此外，该压缩包解压后生成的目录“spark-2.2.1-bin-2.6.0-cdh5.14.2”包含了完整的Spark安装结构，包括bin/脚本目录（如spark-submit、spark-shell）、conf/配置文件目录、jars/依赖库、examples/示例程序以及sbin/...
Scala | Spark基础入门 | IDEA配置 | 集群搭建与测试
liujiesxs的博客
07-18 1079
spark环境配置及IDEA配置，Spark入门
spark.yarn.archive 的正确设置方法
微电子学与固体电子学-俞驰
05-02 3488
spark.yarn.archive 的设置方法有很多，下面三种 ①spark.yarn.jars hdfs://Desktop:9000/spark/jars/* ②spark.yarn.jars hdfs://Desktop:9000/spark/jars/*.jar ③spark.yarn.jars hdfs://Desktop:9000/spark/jars/ 上述配置真的正确...
【msb】spark基于yarn的集群搭建、配置、资源调度参数、优化jars
学亮编程手记
06-06 579
修改配置时要注意是资源层还是计算层的配置。有的放矢！ spark-env中无需配置项如下： 删除这四项： spark-env只需配置 spark-defaults中删除配置 spark-defaults中只需配置 只需要启动yarn yarn-site的配置 mapred-site配置说明 分发spark 手动启动RM start-yarn.sh启动之后， 运行mr的wordcount 注意：输入输出路径都是hdfs的路径，非本地路径！ 手动启动mr 历史服务 跟spark半毛钱关.
spark优化——依赖包传入HDFS_spark.yarn.jar和spark.yarn.archive的使用
weixin_30607659的博客
06-30 677
一、参数说明 启动Spark任务时，在没有配置spark.yarn.archive或者spark.yarn.jars时， 会看到不停地上传jar，非常耗时；使用spark.yarn.archive可以大大地减少任务的启动时间，整个处理过程如下。 二、spark.yarn.archive使用 1.在本地创建zip文件 silent@bd01:~/env/spark$ cd jars/ ...
Spark On Yarn --jars/spark.yarn.jars 踩坑 与 提升spark submit速度
BITDDD小栈
04-14 6740
一.引言 Spark submit 可以选择 --jars 传入本地的jar也可以 --jars 传入HDFS的jar包，经过半下午的实验，终于搞清了两者的关系以及 spark.yarn.jars 和它们的区别 二.--jars的使用 1.--jars 传入本地jar包 --jars a.jar,b.jar,c.jar 传入本地jar包时，只需要输入通道机的jar包地址即可，随后spark-submit脚本会执行Uploading resource的操作将本地的jar包拷贝到spar..
spark.yarn.jars的配置
xinji
10-14 3141
1.原因: 官方文档 http://spark.apache.org/docs/latest/running-on-yarn.html#preparations To make Spark runtime jars accessible from YARN side, you can specify spark.yarn.archive or spark.yarn.jars. For deta...
Spark2 文件处理和jar包执行
伏虎游侠的博客
11-24 974
Spark2 文件处理和jar包执行 上传数据文件 mkdir -p data/ml/ hadoop fs -mkdir -p /datafile/wangxiao/ hadoop fs -ls / hadoop fs -put /home/wangxiao/data/ml/Affairs.txt /datafile/wangxiao/ hadoop fs -ls -R /da
Spark的Yarn模式
weixin_45102492的博客
02-14 331
Spark客户端直接连接Yarn，不需要额外构建Spark集群。有yarn-client和yarn-cluster（集群模式，工作中常用）两种模式，主要区别在于：Driver程序的运行节点。 yarn-client：Driver程序运行在客户端，适应于交互、调试，希望立即看到app的输出 yarn-cluster：Driver程序运行在由RM（ResourceManager）启动的AP（APPMa...
 spark代码类打包上传到yarn集群运行出错：找不到类
东城庞太师
03-20 1142
spark打包上传到yarn集群运行出错：找不到类 原因：可能是依赖有问题，导致最终找不到类
spark执行优化--禁止将依赖的Jar包传到HDFS(spark.yarn.jar和spark.yarn.archive的使用)
penriver的博客
04-26 2327
使用yarn的方式提交spark应用时，如果没有配置spark.yarn.archive或者spark.yarn.jars时， 输出的日志在输出Neither spark.yarn.jars nor spark.yarn.archive is set后，会将SPARK_HOME/jars下的所有jar打包并上传到HDFS上，内容如下，这个过程会非常耗时。可以通过如下2种方法避免此操作，缩小spark应用的启动时间 spark-defaults.conf配置里添加spark.yarn.archive或s
spark.yarn.jar和spark.yarn.archive的使用
weixin_30826761的博客
11-29 833
启动Spark任务时，在没有配置spark.yarn.archive或者spark.yarn.jars时， 会看到不停地上传jar非常耗时；使用spark.yarn.archive可以大大地减少任务的启动时间，整个处理过程如下 1.在本地创建zip文件 hzlishuming@hadoop691:~/env/spark$ cd jars/ hzlishuming@hadoop691:~/...
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值