spark本地提交任务到远程集群报错:file does not exist

最新推荐文章于 2025-03-26 17:31:41 发布

iFence

最新推荐文章于 2025-03-26 17:31:41 发布

阅读量5.1k

点赞数 1

本文链接：https://blog.youkuaiyun.com/Vector97/article/details/103503660

版权

Spark 同时被 2 个专栏收录

9 篇文章

订阅专栏

Hadoop

4 篇文章

订阅专栏

本文记录了在集群外使用Spark客户端远程提交任务时遇到的错误，并详细介绍了如何通过修改yarn-site.xml和core-site.xml配置文件来指定YARN和HDFS位置，从而解决问题的过程。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

背景

今天本来想测试一下Spark装到集群以外，远程提交任务试试。但是遇到了一些问题,这里记录一下。

微信公众号：大数据报文

环境

在集群以外提交任务首先要安装Spark客户端，而Spark客户端又依赖Hadoop（当然这里并不是集群，只是把hadoop解压并配置好环境变量）。

安装好以后使用spark-submit命令提交example中的Spark Pi程序到集群：

./spark-submit --class org.apache.spark.examples.SparkPi --master yarn ../examples/jars/spark-examples_2.11-2.2.1.jar

结果报错了：

19/12/12 08:57:09 INFO Client: 
	 client token: N/A
	 diagnostics: Application application_1574664235598_0057 failed 2 times due to AM Container for appattempt_1574664235598_0057_000002 exited with  exitCode: -1000
For more detailed output, check application tracking page:http://master:8088/cluster/app/application_1574664235598_0057Then, click on links to logs of each attempt.
Diagnostics: File file:/root/.sparkStaging/application_1574664235598_0057/metrics-core-3.1.2.jar does not exist
java.io.FileNotFoundException: File file:/root/.sparkStaging/application_1574664235598_0057/metrics-core-3.1.2.jar does not exist
	at org.apache.hadoop.fs.RawLocalFileSystem.deprecatedGetFileStatus(RawLocalFileSystem.java:611)

解决方案

上面乍看很奇怪，先把文件拷贝到一个目录紧接着说文件不存在。但是仔细想想。我们把Spark任务提交到集群，但是集群呢，好像并没有指定。

1.修改yarn-site.xml，指定yarn集群的位置。

<configuration>

<!-- Site specific YARN configuration properties -->

<property>
    <name>yarn.resourcemanager.address</name>
    <value>master:8032</value>
  </property>
  <property>
    <name>yarn.resourcemanager.scheduler.address</name>
    <value>master:8030</value>
  </property>
  <property>
    <name>yarn.resourcemanager.resource-tracker.address</name>
    <value>master:8031</value>
  </property>
</configuration>

2.修改core-site.xml,指定hdfs的位置

<configuration>
    <property>
        <name>fs.default.name</name>
        <value>hdfs://192.168.10.214:8020</value>
    </property>
</configuration>

上面配置好以后在提交就可以成功了。

补充与总结

上面只说了我遇到的问题。但是还有一些配置如SPARK_HOME、HADOOP_HOME、JAVA_HOME等都需要配到环境变量里面。否在hadoop的一些配置文件找不到环境变量的位置。

SPARK_HOME/conf/spark-env.sh,需要配置JAVA_HOME/HADOOP_CONF_DIR

export JAVA_HOME=/opt/jdk1.8.0_212
export HADOOP_CONF_DIR=/opt/hadoop-2.7.2/etc/hadoop

最后，虽然想脱离集群提交任务，但是不要忘记指定集群的位置。如果没有指定会默认找本机。