本文详细探讨了Spark在YARN上运行时的Cluster和Client两种提交模式的区别，包括驱动程序位置、资源分配、监控管理、适用场景、运行环境等方面。Cluster模式下，驱动程序由YARN资源管理器管理，适合大规模分布式计算；而Client模式下，驱动程序在客户端运行，适合需要灵活监控和管理应用执行的场景。了解这两种模式有助于优化Spark在YARN上的性能和资源利用。
Spark YARN Cluster和Client两种不同提交模式区别点击这里也可看全文
文章目录
Spark使用spark-submit启动应用程序
一旦用户应用程序被打包，就可以使用bin/spark-submit脚本来启动它。该脚本会设置Spark及其依赖项的类路径，并支持Spark支持的不同集群管理器和部署模式：
./bin/spark-submit \
--class <main-class> \
--master <master-url> \
--deploy-mode <deploy-mode> \
--conf <key>=<value> \
... # 其他选项
<application-jar> \
<
最低0.47元/天 解锁文章
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
