Spark中Standalone的两种提交模式（Standalone-client模式与Standalone-cluster模式）

最新推荐文章于 2025-03-14 14:19:37 发布

zzx_cs

最新推荐文章于 2025-03-14 14:19:37 发布

阅读量2.2k

点赞数

分类专栏： Spark

本文链接：https://blog.youkuaiyun.com/qq_39131779/article/details/83539608

版权

本文详细介绍了Spark在Standalone部署模式下的client和cluster提交方式。client模式下，Driver在客户端启动，适合测试，但在生产环境中可能导致网卡流量激增。而cluster模式则将Driver放在Worker节点上，适用于生产环境，能有效分散流量。在cluster模式下，应用的所有依赖必须在所有worker节点上可用或预先打包。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

文章目录

Spark中Standalone有两种提交模式，一个是Standalone-client模式，一个是Standalone-cluster模式。

1.Standalone-client提交任务方式

提交命令：

./spark-submit --master  spark://node01:7077 --class org.apache.spark.examples.SparkPi  ../lib/spark-examples-1.6.
0-hadoop2.6.0.jar 100

解释：–class org.apache.spark.examples.SparkPi main函数

在这里插入图片描述

执行流程

client模式提交任务后，会在客户端启动Driver进程。
Driver会向Master申请启动Application启动的资源。
资源申请成功，Driver端将task发送到worker端执行。
worker将task执行结果返回到Driver端。(由代码设置)

总结

client模式适用于测试调试程序。Driver进程是在客户端启动的，这里的客户端就是指提交应用程序的当前节点。在Driver端可以看到task执行的情况。生产环境下不能使用client模式，是因为：假设要

最低0.47元/天解锁文章