Failed to submit local jar to spark cluster: java.nio.file.NoSuchFileException

最新推荐文章于 2023-03-31 15:39:15 发布

转载最新推荐文章于 2023-03-31 15:39:15 发布 · 1.8k 阅读

本文详细介绍了如何在Spark中使用集群模式进行应用部署，并通过HDFS进行资源文件的传递。具体步骤包括将jar文件上传至HDFS，以及使用spark-submit命令指定master节点、部署模式、资源分配等参数。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

The standalone mode cluster wants to pass jar files to hdfs because the driver is on any node in the cluster.

hdfs dfs -put xxx.jar /user/
spark-submit --master spark://xxx:7077
–deploy-mode cluster
–supervise
–driver-memory 512m
–total-executor-cores 1
–executor-memory 512m
–executor-cores 1
–class com.xiyou.bi.streaming.game.common.DmMoGameviewOnlineLogic
hdfs://xxx:8020/user/hutao/xxx.jar