spark-submit 提交yarn-client yarn-cluster两种模式的差别

最新推荐文章于 2025-09-08 09:53:35 发布

转载最新推荐文章于 2025-09-08 09:53:35 发布 · 2.8k 阅读

1 ·

CC 4.0 BY-SA版权

原文链接：http://blog.sina.com.cn/s/blog_6dd718930102xddo.html

文章标签：

#spark

Spark 专栏收录该内容

27 篇文章

订阅专栏

本文详细解析了Spark在YARN集群上的两种提交方式：yarn-client与yarn-cluster。前者适合测试环境，便于调试但可能引起网络流量激增；后者适用于生产环境，虽然调试不便，但能有效避免网络瓶颈。同时，文章提供了具体的Spark作业提交示例。

spark-submit提交给yarn的两种方式总结与区分：

spark-submit提交给yarn有两种方式， 1为yarn-cluster, 2为yarn-client

两种方式的区别

yarn-client主要是用于测试，因为driver运行在本地客户端，负责调度application，会与yarn集群产生大量的网络通信，会导致网卡流量激增！！好处在于直接执行时，本地可以看到所有的log，方便调试

yarn-cluster用户生产环境，以为driver运行在nodemanager，没有网卡流量激增的问题。缺点在于调试不方便，本地用spark-submit提交后，看不到log，只能通过yarn application -logs application_id这种命令来查看，比较麻烦或者 yarn logs -applicationId application_id

spark作业提交示例：

以下三个示例都可提交上集群。有一个问题待解决。新增一个节点提交时候总是报jar包找不到，问题挂起，见另一篇文章

spark-submit --class "com.hadoop.init.P_app" --master yarn-cluster --num-executors 2 --executor-cores 1 --executor-memory 6G app.jar 4

spark-submit --class "com.hadoop.init.P_app" --master yarn-cluster --num-executors 2 --executor-cores 1 --executor-memory 6G --driver-class-path spark_json_lib/druid-1.0.13.jar --driver-class-path spark_json_lib/druid-1.0.23.jar --driver-class-path spark_json_lib/gson-2.7.jar --driver-class-path spark_json_lib/mysql-connector-java-5.1.33.jar app.jar 4

spark-submit --class "com.hadoop.init.P_app" --master yarn-cluster --num-executors 2 --executor-cores 1 --executor-memory 6G --driver-class-path spark_json_lib/druid-1.0.13.jar --jars spark_json_lib/druid-1.0.13.jar,spark_json_lib/druid-1.0.23.jar,spark_json_lib/gson-2.7.jar,spark_json_lib/mysql-connector-java-5.1.33.jar app.jar 4