WARN spark.yarn.jars falling back to uploading

最新推荐文章于 2024-07-17 12:19:49 发布
最新推荐文章于 2024-07-17 12:19:49 发布
阅读量681 收藏
点赞数 1
分类专栏： 大数据 文章标签： Spark
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/wsjwoods/article/details/90108220
版权

spark yarn模式的任务在启动时会出现如下警告，表示需要上传本地的spark jar包到hdfs上，这一步肯能非常耗时。

WARN Client: Neither spark.yarn.jars nor spark.yarn.archive is set, falling back to uploading libraries under SPARK_HOME

解决办法就是提前收到上传spark jar包到HDFS，然后修改spark-default.conf配置文件

hdfs dfs -mkdir /home/hadoop/spark_jars
hdfs dfs -put ${SPARK_HOME}/jars/* /home/hadoop/spark_jars/

然后在spark-default.conf添加一行

spark.yarn.jars=hdfs://hadoop001:8020/home/hadoop/spark_jars/*

在重新提交任务，就不会在出现WARN,并能够快速启动任务

spark on yarn 配置及异常解决
主要分享大数据相关的知识，如Spark、Hudi
05-08 1204
转载请务必注明原创地址为：http://dongkelun.com/2018/04/16/sparkOnYarnConf/ 前言 YARN 是在Hadoop 2.0 中引入的集群管理器，它可以让多种数据处理框架运行在一个共享的资源池上，并且通常安装在与Hadoop 文件系统（简称HDFS）相同的物理节点上。在这样配置的YARN 集群上运行Spark 是很有意义的，它可以让Spark 在存储数据...
解决Spark on YARN时大量jar乱飞的情况
mcdull213的博客
05-03 553
问题重现 运行以下这个作业 spark-submit \ --class org.apache.spark.examples.SparkPi \ --master yarn \ --deploy-mode client \ /opt/app/spark-2.4.5-bin-2.6.0-cdh5.16.2/examples/jars/spark-examples_2.12-2.4.5.jar ...
十：WARN yarn.Client: Neither spark.yarn.jars nor spark.yarn.archive is set,解决案例
weizhonggui的博客
12-25 7476
在spark on yarn 上提交任务是，报错如下： 这是Spark的一个优化点： WARN yarn.Client: Neither spark.yarn.jars nor spark.yarn.archive is set, falling back to uploading libraries under SPARK_HOME. INFO yarn.Client: Uploading re...
spark on yarn falling back to uploading libraries under SPARK_HOME.
qq_65303368的博客
02-13 243
spark-shell底层是调用的spark-submit，每次运行时都会把yarn所需的spark jar打包上传至HDFS，然后分发到每个NM。如果我们将jar包提前上传至HDFS，那么spark在运行时就不用上传，可以直接从HDFS读取了。重新运行 spark-shell --master yarn-client。在以yarn作为master启动sparkshell出现警告。在spark-default.conf文件中添加。将jar包上传至hdfs目录。
运行Spark任务时解决WARN yarn.Client: Neither spark.yarn.jars nor spark.yarn.archive is set
心动的博客
07-17 790
2) 修改/opt/installs/spark/conf/spark-defaults.conf文件 spark.yarn.jars=hdfs://hadoop10:8020/spark-yarn/jars/*.jar。3）在spark-default.conf中设置 spark.yarn.archive=hdfs://hadoop10:8020/system/SparkJars/jar/spark-libs.jar。该方法同时可以对Spark任务进行调优。下面配置解决上述警告。
用spark-submit将py提交到yarn时警告Neither spark.yarn.jars nor spark.yarn.archive is set
m0_63500252的博客
05-06 541
意思是spark无法找到要在YARN集群上执行任务所需的JAR包或归档文件。它会尝试从SPARK_HOME目录上传所需的库文件，所以会卡在这里一段时间。意思是将$SPARK_HOME/jars/里的文件全部打包为当前目录的spark-libs.jar。然后再到$SPARK_HOME/conf/spark-env.sh中添加。到SPARK_HOME中找到jars文件夹，将它们打包。用spark-submit将py提交到yarn时警告。然后将其上传到hdfs中，先自己创建好目录。
spark运行时出现Neither spark.yarn.jars nor spark.yarn.archive is set错误的解决办法（图文详解）...
weixin_30896763的博客
09-29 620
　　不多说，直接上干货！ 福利 => 每天都推送 欢迎大家，关注微信扫码并加入我的4个微信公众号：大数据躺过的坑 Java从入门到架构师 人工智能躺过的坑 Java全栈大联盟 每天都有大量的学习视频资料和精彩技术文章推送... 人生不易，唯有努力。 百家号 ：九月哥快讯 ...
spark.yarn.archive spark.yarn.jars 的设置
naruto00001的专栏
03-16 7294
为什么要设置呢？摘自Spark-2.3.0官方文档 http://spark.apache.org/docs/latest/running-on-yarn.html#preparations（个人理解：spark运行所需的jar包，不设置的话每次运行就需要上传到yarn管理的各个节点的缓存，很麻烦很影响性能。如果设置了，比如说放在HDFS上，就不需要每次都上传而是从HDFS上读取，能快那么一点点…...
Neither spark.yarn.jars nor spark.yarn.archive is set
微电子学与固体电子学-俞驰
04-26 928
完整报错如下: (Python3.6) appleyuchi@Desktop:target$ spark-submit --class WordCountLocal --master yarn --deploy-mode cluster --driver-memory 1g --executor-memory 1g --executor-cores 1 /home/appleyuchi/Id...
yarn集群下启动spark错误WARN:66 - Neither spark.yarn.jars nor spark.yarn.archive is set
qq_39954916的博客
09-26 1688
yarn集群下启动spark错误如下： WARN Client:66 - Neither spark.yarn.jars nor spark.yarn.archive is set, falling back to uploading libraries under SPARK_HOME. 解决办法 　　在hdfs上创建目录： hdfs dfs -mkdir -p /home/hadoop/spark_jars 上传spark的jars hdfs dfs -put /opt/mod...
spark：neither spark.yarn.jars not spark.yarn.archive is set
weixin_30781107的博客
10-18 460
1.Spark启动警告：neither spark.yarn.jars not spark.yarn.archive is set，falling back to uploading libraries under SPARK_HOME 原因： 如果没设置spark.yarn.jars，每次提交到yarn，都会把$SPARK_HOME/jars打包成zip文件上传到HDFS对应的用户目录。而sp...
WARN yarn.Client: Neither spark.yarn.jars nor spark.yarn.archive is set, falling back to uploading l
AaronLwx的博客
05-15 5423
19/05/15 11:29:42 WARN yarn.Client: Neither spark.yarn.jars nor spark.yarn.archive is set, falling back to uploading libraries under SPARK_HOME. 19/05/15 11:29:42 WARN yarn.Client: Neither spark.yar...
spark-submit --master yarn 需要增加的配置WARN Client: Neither spark.yarn.jars nor spark.yarn.archive is set
yao09605的博客
01-14 366
$ jar -cv0f spark-libs.jar -C $SPARK_HOME/jars/ . $ dfs -mkdir /system $ dfs -mkdir /system/SparkJars $ dfs -mkdir /system/SparkJars/jar $ hdfs dfs -put spark-libs.jar /system/SparkJars/jar
Spark警告Neither spark.yarn.jars nor spark.yarn.archive is set
a8131357leo的博客
06-17 780
同理问题 https://blog.csdn.net/a8131357leo/article/details/100774694?ops_request_misc=%257B%2522request%255Fid%2522%253A%2522159232809119724846413808%2522%252C%2522scm%2522%253A%252220140713.130102334.pc%255Fblog.%2522%257D&request_id=15923280911972484641
spark高级数据分析-学习笔记
weixin_36840127的博客
04-07 349
spark高级数据分析 手撸代码
spark执行优化——依赖上传到HDFS(spark.yarn.jar和spark.yarn.archive的使用)
OMars的博客
12-01 8133
一、简述 使用yarn的方式提交spark应用时，在没有配置spark.yarn.archive或者spark.yarn.jars时， 看到输出的日志在输出Neither spark.yarn.jars nor spark.yarn.archive is set；一段指令后，会看到不停地上传本地jar到HDFS上，内容如下，这个过程会非常耗时。可以通过在spark-defaults.conf配置里添加spark.yarn.archive或spark.yarn.jars来缩小spark应用的启动时间。 Wi
WARN org.apache.hadoop.security.authentication.server.AuthenticationFilter: Unable to initialize FileSignerSecretProvider, falling back to use random secrets. Reason: Could not read signature secret file:
最新发布
03-20
### 关于Hadoop AuthenticationFilter中FileSignerSecretProvider初始化失败的问题 当遇到 `AuthenticationFilter` 中的 `FileSignerSecretProvider` 初始化失败的情况时，通常是因为签名密钥文件（signature secret file）不可读或者路径配置不正确。以下是可能的原因以及解决方案： #### 可能原因分析 1. **签名密钥文件不存在** 如果指定的签名密钥文件路径无效或文件缺失，则会引发此错误。 2. **权限不足** 当前运行 Hadoop 的用户对签名密钥文件没有足够的访问权限。 3. **配置错误** 配置文件中的参数设置不当可能导致无法找到或加载签名密钥文件。 --- #### 解决方案 ##### 1. 确认签名密钥文件存在并可读 验证签名密钥文件是否存在，并确认其具有正确的权限。可以通过以下命令检查： ```bash ls -l /path/to/signature-secret-file ``` 如果文件不存在，请按照官方文档生成一个新的签名密钥文件[^1]。确保文件路径与配置一致。 ##### 2. 修改文件权限 如果发现权限不足，可以调整文件权限以允许当前用户访问它。例如： ```bash chmod 600 /path/to/signature-secret-file chown hadoop_user:hadoop_group /path/to/signature-secret-file ``` ##### 3. 检查核心配置文件 在 Hadoop 的核心配置文件 `core-site.xml` 或者安全相关配置文件中，查找关于 `FileSignerSecretProvider` 的配置项。常见的配置键包括： - `hadoop.http.authentication.signature.secret.file` - `hadoop.security.auth_to_local` 确保这些键指向有效的签名密钥文件路径。例如，在 `core-site.xml` 文件中添加如下内容： ```xml <property> <name>hadoop.http.authentication.signature.secret.file</name> <value>/path/to/signature-secret-file</value> </property> ``` ##### 4. 启动服务之前清理日志和临时数据 有时旧的日志或其他残留数据可能会干扰新配置的应用。删除相关目录后再尝试启动服务： ```bash rm -rf /opt/module/hadoop-3.1.3/logs/* ``` ##### 5. 测试环境变量 某些情况下，Java 运行时环境需要额外指明本地库路径才能正常工作。可以在 `/etc/profile` 或 `.bashrc` 文件中追加以下内容[^3]: ```bash export JAVA_LIBRARY_PATH=$JAVA_LIBRARY_PATH:/usr/local/hadoop/lib/native/ export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:/usr/local/hadoop/lib/native/ ``` 随后刷新环境变量： ```bash source ~/.bashrc ``` --- ### 总结 通过上述方法逐一排查问题根源，重点在于核实签名密钥文件的存在性和可用性、调整必要的文件权限、修正配置文件中的路径设定以及优化 Java 库加载机制。最终应能够顺利解决 `FileSignerSecretProvider` 初始化失败的问题。 ---
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值