spark.yarn.archive spark.yarn.jars 的设置

最新推荐文章于 2021-08-26 15:45:24 发布
最新推荐文章于 2021-08-26 15:45:24 发布
阅读量7.2k 收藏
点赞数
分类专栏： spark 文章标签： spark yarn
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/naruto00001/article/details/79578520
版权
Spark在YARN上运行时，设置spark.yarn.archive和spark.yarn.jars可以避免每次运行时上传jar到YARN节点，提升性能。这些配置通常用于指定HDFS上的位置，以便任务可以从共享存储中读取，而不是从本地缓存。不过，当HDFS数据副本不足时，可能会影响任务分配。正确配置如：'hdfs://namenode:port/path_to_archive'，注意URL末尾的正斜杠。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

为什么要设置呢？摘自Spark-2.3.0官方文档 http://spark.apache.org/docs/latest/running-on-yarn.html#preparations

（个人理解：spark运行所需的jar包，不设置的话每次运行就需要上传到yarn管理的各个节点的缓存，很麻烦很影响性能。如果设置了，比如说放在HDFS上，就不需要每次都上传而是从HDFS上读取，能快那么一点点……）

（但是呢，HDFS上如果只设置保存三份数据，而如果需要20个节点来运行spark任务，会怎么样呢……）

Preparations

Running Spark on YARN requires a binary distribution of Spark which is built with YARN support. Binary distributions can be downloaded from the 
最低0.47元/天 解锁文章
spark on yarn 配置及异常解决
主要分享大数据相关的知识，如Spark、Hudi
05-08 1195
转载请务必注明原创地址为：http://dongkelun.com/2018/04/16/sparkOnYarnConf/ 前言 YARN 是在Hadoop 2.0 中引入的集群管理器，它可以让多种数据处理框架运行在一个共享的资源池上，并且通常安装在与Hadoop 文件系统（简称HDFS）相同的物理节点上。在这样配置的YARN 集群上运行Spark 是很有意义的，它可以让Spark 在存储数据...
CDH6.2配置spark.yarn.jars目录
xbing的博客
08-26 1838
按照官网的文档采用以下操作即可： 进入CM界面 选择spark服务 配置 搜索spark-defaults.conf 添加spark.yarn.jars=hdfs://ns1/user/spark/jars 部署客户端并重启 但实际重启后发现节点上的配置文件依然是默认属性，没有分发覆盖，具体还没找到解决办法。 暂时采用软链的方式，如果不得已在CM界面修改了配置并部署，则需要重新创建软链...
spark.yarn.archive spark.yarn.jars
我的祖传代码
03-25 1451
参考自：http://spark.apache.org/docs/latest/running-on-yarn.html#preparations 在spark on yarn模式下，/usr/local/spark-current2.3/conf下的spark-defaults.conf配置文件有一个spark.yarn.archive配置项 1.如果没有配置 #spark.yarn.a...
spark2.2.1中 spark.yarn.jars | spark.yarn.archive的正确配置
Gamedev
02-09 4698
【ERROR】 错误: 找不到或无法加载主类 org.apache.spark.deploy.yarn.ExecutorLauncher End Could not find or load main class org.apache.spark.deploy.yarn.ExecutorLauncher Application failed 2 times due to AM Containe...
spark执行优化——依赖上传到HDFS(spark.yarn.jar和spark.yarn.archive的使用)
OMars的博客
12-01 8069
一、简述 使用yarn的方式提交spark应用时，在没有配置spark.yarn.archive或者spark.yarn.jars时， 看到输出的日志在输出Neither spark.yarn.jars nor spark.yarn.archive is set；一段指令后，会看到不停地上传本地jar到HDFS上，内容如下，这个过程会非常耗时。可以通过在spark-defaults.conf配置里添加spark.yarn.archive或spark.yarn.jars来缩小spark应用的启动时间。 Wi
spark执行优化--禁止将依赖的Jar包传到HDFS(spark.yarn.jar和spark.yarn.archive的使用)
penriver的博客
04-26 2038
使用yarn的方式提交spark应用时，如果没有配置spark.yarn.archive或者spark.yarn.jars时， 输出的日志在输出Neither spark.yarn.jars nor spark.yarn.archive is set后，会将SPARK_HOME/jars下的所有jar打包并上传到HDFS上，内容如下，这个过程会非常耗时。可以通过如下2种方法避免此操作，缩小spark应用的启动时间 spark-defaults.conf配置里添加spark.yarn.archive或s
十：WARN yarn.Client: Neither spark.yarn.jars nor spark.yarn.archive is set,解决案例
weizhonggui的博客
12-25 7460
在spark on yarn 上提交任务是，报错如下： 这是Spark的一个优化点： WARN yarn.Client: Neither spark.yarn.jars nor spark.yarn.archive is set, falling back to uploading libraries under SPARK_HOME. INFO yarn.Client: Uploading re...
spark.4 yarn
笔生花的博客
08-20 496
spark yarn2.spark application载入yarn的方式3.— —master说明4.载入集群的命令5.注意事项6.准备工作 确保HADOOP_CONF_DIR或YARN_CONF_DIR指向包含Hadoop集群(客户端)配置文件的目录。这些配置用于写HDFS和连接YARN ResourceManager。该目录中包含的配置将被分发到YARN集群，以便应用程序使用的所有容器都使用相同的配置。如果配置引用Java系统属性或不受YARN管理的环境变量，它们也应该在Spark应用程序的配置中进
Spark on Yarn
weixin_30629977的博客
12-07 154
Spark on Yarn 1. Spark on Yarn模式优点 与其他计算框架共享集群资源（eg.Spark框架与MapReduce框架同时运行，如果不用Yarn进行资源分配，MapReduce分到的内存资源会很少，效率低下）；资源按需分配，进而提高集群资源利用率等。 相较于Spark自带的Standalone模式，Yarn的资源分配更加细致 Application部署简...
spark优化——依赖包传入HDFS_spark.yarn.jar和spark.yarn.archive的使用
weixin_30607659的博客
06-30 635
一、参数说明 启动Spark任务时，在没有配置spark.yarn.archive或者spark.yarn.jars时， 会看到不停地上传jar，非常耗时；使用spark.yarn.archive可以大大地减少任务的启动时间，整个处理过程如下。 二、spark.yarn.archive使用 1.在本地创建zip文件 silent@bd01:~/env/spark$ cd jars/ ...
Spark的Yarn模式
weixin_45102492的博客
02-14 304
Spark客户端直接连接Yarn，不需要额外构建Spark集群。有yarn-client和yarn-cluster（集群模式，工作中常用）两种模式，主要区别在于：Driver程序的运行节点。 yarn-client：Driver程序运行在客户端，适应于交互、调试，希望立即看到app的输出 yarn-cluster：Driver程序运行在由RM（ResourceManager）启动的AP（APPMa...
spark.yarn.jar和spark.yarn.archive的使用
weixin_30826761的博客
11-29 795
启动Spark任务时，在没有配置spark.yarn.archive或者spark.yarn.jars时， 会看到不停地上传jar非常耗时；使用spark.yarn.archive可以大大地减少任务的启动时间，整个处理过程如下 1.在本地创建zip文件 hzlishuming@hadoop691:~/env/spark$ cd jars/ hzlishuming@hadoop691:~/...
Spark On Yarn --jars/spark.yarn.jars 踩坑 与 提升spark submit速度
BITDDD小栈
04-14 6406
一.引言 Spark submit 可以选择 --jars 传入本地的jar也可以 --jars 传入HDFS的jar包，经过半下午的实验，终于搞清了两者的关系以及 spark.yarn.jars 和它们的区别 二.--jars的使用 1.--jars 传入本地jar包 --jars a.jar,b.jar,c.jar 传入本地jar包时，只需要输入通道机的jar包地址即可，随后spark-submit脚本会执行Uploading resource的操作将本地的jar包拷贝到spar..
Spark 在YARN上运行
大强博客
01-31 5283
在YARN上运行Spark 安全 在YARN上启动Spark 添加其他JAR 准备工作 组态 调试您的应用程序 Spark特性 重要笔记 的Kerberos YARN特定的Kerberos配置 Kerberos故障排除 配置外部随机播放服务 使用Apache Oozie启动您的应用程序 使用Spark History Server替换Spark Web U...
spark.yarn.archive 的正确设置方法
微电子学与固体电子学-俞驰
05-02 3324
spark.yarn.archive 的设置方法有很多，下面三种 ①spark.yarn.jars hdfs://Desktop:9000/spark/jars/* ②spark.yarn.jars hdfs://Desktop:9000/spark/jars/*.jar ③spark.yarn.jars hdfs://Desktop:9000/spark/jars/ 上述配置真的正确...
spark官方文档之——Running Spark on YARN YARN上运行SPARK
游园会
06-29 6339
支持YARN上运行spark是在版本0.6.0上添加的，后续版本中完善。 准备 在YARN上运行spark需要一个分布式的二进制spark文件，这个文件被编译能够支持YARN（download时会让选择版本，有支持hadoop yarn的版本）。二进制文件可以从spark工程网站上下载。自己编译spark，参考Building Spark（http://spark.apache.o
Spark2.1.1<性能调优Spark运行时jar从yarn端访问>
Gpwner的博客
06-19 3645
1.为什么要让运行时Jar可以从yarn端访问spark2以后，原有lib目录下的大JAR包被分散成多个小JAR包，原来的spark-assembly-*.jar已经不存在每一次我们运行的时候，如果没有指定 spark.yarn.archive or spark.yarn.jars Spark将在安装路径下的Jar目录，将其所有的Jar包打包然后将其上传到分布式缓存（官网上的原话是：To ma
spark执行优化——依赖上传到HDFS二(-conf spark.yarn.dist.jars或者--jars 的使用)
OMars的博客
08-26 3785
1.说明 之前整理过一篇类似文章，但是这个spark.yarn.jar配置的目录最好只是放spark jars目录下的jar包，如果放入其他的jar包，很大概率会有冲突，而且如果项目比较多，jar包引入的内容版本不尽相同，也不太利于管理。题主这里有一个spark的分析项目，引入了很多依赖，如果只是配置了spark.yarn.jars,上传jar包的过程仍然很慢，所以还是需要把项目的依赖jar包上传到HDFS,经过查阅资料和翻查官网，发现了application-jar , --jars 都是即可以使用本地也
spark.yarn.jars的配置
xinji
10-14 3057
1.原因: 官方文档 http://spark.apache.org/docs/latest/running-on-yarn.html#preparations To make Spark runtime jars accessible from YARN side, you can specify spark.yarn.archive or spark.yarn.jars. For deta...
spark on yanr配置安装
最新发布
03-08
### 如何在YARN上配置和安装Apache Spark #### 配置环境变量 为了使Spark能够在YARN上运行，需设置一些必要的环境变量。通常情况下，在`conf/spark-env.sh`文件中定义这些变量。确保设置了`HADOOP_CONF_DIR`指向Hadoop配置目录，以便Spark能够找到YARN的配置。 ```bash export HADOOP_CONF_DIR=/etc/hadoop/conf ``` #### 安装依赖项 确认已安装Java、Scala以及Hadoop，并且版本兼容。对于特定的操作系统发行版，可能还需要额外的库支持[^5]。 #### 下载并解压Spark包 前往官方下载页面获取适用于集群部署的预编译二进制分发版[^1]： ```bash wget https://downloads.apache.org/spark/spark-3.x.x/spark-3.x.x-bin-hadoop2.7.tgz tar -xzf spark-3.x.x-bin-hadoop2.7.tgz cd spark-3.x.x-bin-hadoop2.7/ ``` #### 修改默认配置 编辑`conf/spark-defaults.conf.template`文件（复制一份作为实际使用的配置），添加或修改以下参数以适应YARN需求: ```properties spark.master yarn spark.submit.deployMode cluster spark.yarn.am.memory 512m spark.executor.instances 2 spark.executor.cores 1 spark.executor.memory 1g ``` 当既未指定`spark.yarn.archive`也未指定`spark.yarn.jars`时，Spark会自动创建一个包含所有JAR文件的ZIP压缩包，并上传至分布式缓存中用于执行任务[^4]。 #### 提交测试应用程序 验证配置是否成功的一种方法是通过提交内置的例子程序计算π值来检验整个流程是否正常工作。使用如下命令启动该应用[^2]: ```bash spark-submit \ --master yarn \ --deploy-mode cluster \ --class org.apache.spark.examples.SparkPi \ ${SPARK_HOME}/examples/jars/spark-examples_2.12-3.x.x.jar ``` 注意这里假设已经正确设置了`${SPARK_HOME}`环境变量指向刚才解压后的路径；同时也要保证所选例子JAR包与当前系统的Scala版本相匹配。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值