spark如何解决文件不存在_spark任务提交时绝对路径添加额外配置文件提示找不到路径...

weixin_39620037

于 2020-12-22 19:57:17 发布

阅读量1.2k

点赞数

文章标签： spark如何解决文件不存在

本文链接：https://blog.youkuaiyun.com/weixin_39620037/article/details/111862805

版权

当使用Spark提交任务时，通过绝对路径添加额外配置文件失败，提示找不到文件。问题在于Spark在尝试上传文件到集群时未能正确定位文件。将路径改为相对路径后，任务能正常执行。解决方案是确保使用与Spark运行环境相对应的文件路径。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

spark任务提交，添加额外配置文件时用绝对路径读取不到上传的文件。

/usr/local/spark-2.1.0-bin-hadoop2.7/bin/spark-submit --name str_platform_test_80 --master yarn --deploy-mode client --executor-cores 1 --num-executors 2 --executor-memory 1G --driver-memory 4G --conf spark.yarn.queue=radar --conf spark.driver.cores=4 --conf spark.driver.maxResultSize=10G --conf spark.yarn.submit.waitAppCompletion=false --conf spark.rpc.message.maxSize=2000 --conf spark.network.timeout=600s --conf spark.executor.heartbeatInterval=300s

--files /tmp/computeA_run_spark.py,/tmp/computeA1524709482.7682726_output_data.conf /home/guomm/script/spark_run.py computeA1524709482.7682726_output_data.conf computeA

在spark_run脚本中读取computeA_run_spark.py和computeA1524709482.7682726_output_data.conf失败，提示找不到文件。

cd tmp

/usr/local/spark-2.1.0-bin-hadoop2.7/bin/spark-submit --name str_platform_test_80 --master yarn --deploy-mode client --