【spark床头书系列】Spark YARN Cluster和Client两种不同提交模式区别：

原创

已于 2024-01-15 20:34:10 修改 · 1.1k 阅读

14 ·

CC 4.0 BY-SA版权

文章标签：

#spark #大数据 #分布式

于 2023-11-23 00:16:36 首次发布

本文详细探讨了Spark在YARN上运行时的Cluster和Client两种提交模式的区别，包括驱动程序位置、资源分配、监控管理、适用场景、运行环境等方面。Cluster模式下，驱动程序由YARN资源管理器管理，适合大规模分布式计算；而Client模式下，驱动程序在客户端运行，适合需要灵活监控和管理应用执行的场景。了解这两种模式有助于优化Spark在YARN上的性能和资源利用。

Spark YARN Cluster和Client两种不同提交模式区别点击这里也可看全文

文章目录

- Spark使用spark-submit启动应用程序
- deploy-mode选项有两种常见的部署策略：
YARN Cluster和Client两种不同提交模式详细区别
参考链接

Spark使用spark-submit启动应用程序

一旦用户应用程序被打包，就可以使用bin/spark-submit脚本来启动它。该脚本会设置Spark及其依赖项的类路径，并支持Spark支持的不同集群管理器和部署模式：

./bin/spark-submit \
  --class <main-class> \
  --master <master-url> \
  --deploy-mode <deploy-mode> \
  --conf <key>=<value> \
  ... # 其他选项
  <application-jar> \
  [application-arguments]