Spark的分布式运行模式 Local，Standalone, Spark on Mesos, Spark on Yarn, Kubernetes

最新推荐文章于 2025-07-19 00:06:16 发布

原创

最新推荐文章于 2025-07-19 00:06:16 发布 · 1.6k 阅读

5 ·

CC 4.0 BY-SA版权

文章标签：

#spark #yarn #kubernetes #standalone

本文详细介绍了Spark的五种分布式运行模式：Local模式，Standalone模式，Spark on Mesos的粗粒度和细粒度模式，Spark on Yarn的Yarn-Client和Yarn-cluster模式，以及Kubernetes模式。着重讨论了每种模式的特点、资源管理和调度机制，帮助理解Spark如何在不同环境下高效运行。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

Spark的分布式运行模式 Local，Standalone, Spark on Mesos, Spark on Yarn, Kubernetes

Local模式
Standalone模式
Spark on Mesos模式
Spark on Yarn
Kubernetes模式

Local模式

Standalone模式的单机版，Master和Worker分别运行在一台机器的不同进程上

Standalone模式

Standalone模式即独立模式，自带完整的服务，可以单独部署到一个集群中，不需要任何的资源管理系统，只支持FIFO调度，在该模式下没有AM和NM的概念，也没有RM的概念，用户节点直接与Master交互，由Driver负责向Master申请资源，由Driver进行资源的分配和调度等。目前Spark在Standalone模式下是没有任何单点故障问题的，借助了zk思想类似hbase Master单点故障解决方案。各个节点上的资源被抽象成粗粒度的slot，有多少slot就能同时运行多少task。

Spark on Mesos模式

Spark on Mesos模式。在Spark on Mesos环境中，用户可选择两种调度模式之一运行自己的应用程序（可参考Andrew Xia的“Mesos Scheduling Mode on Spark”）

粗粒度模式（Coarse-grained Mode）：每个应用程序的运行环境由一个Dirver和若干个Executor组成，其中，每个Executor占用若干资源，内部可运行多个Task（对应多少个“slot”）。应用程序的各个任务正式运行之前，需要将运行环境中的资源全部申请好，且运行过程中要一直占用这些资源，即使不用，最后程序运行结束后，回收这些资源。举个例子，比如你提交应用程序时，指定使用5个executor运行你的应用程序，每个executor占用5GB内存和5个CPU，每个executor内部设置了5个slot，则Mesos需要先为executor分配资源并启动它们，之后开始调度任务。另外，在程序运行过程中，Mesos的Master和slave并不知道executor内部各个task的运行情况，executor直接将任务状态通过内部的通信机制汇报给Driver，从一定程度上可以认为，每个应用程序