Spark集群的三种部署模式

最新推荐文章于 2025-11-20 23:16:29 发布

原创

最新推荐文章于 2025-11-20 23:16:29 发布 · 4.1k 阅读

4 ·

CC 4.0 BY-SA版权

文章标签：

#spark #Spark集群三种部署模式

Spark有主要有三种部署模式：Spark独立服务器模式、基于YARN的Spark、基于Mesos的Spark。

1.Spark独立服务器模式

独立服务器模式使用内置的调度器，因而不需要任何外部调度器，如YARN或Mesos。要以独立服务器模式安装Spark，需要将Spark的二进制安装文件复制到集群的所有机器上。
独立服务器模式下，客户端可通过spark-submit或Spark shell与集群通信。无论那种情况，driver都会与Spark主节点进行通信，以便获取worker节点的信息，此后executor将在worker节点上启动来执行应用。多个客户端可同时与集群通信，然后再worker节点上创建各自的executor，每个客户端都有自己的driver组件。

2.基于YARN的Spark

在YARN模式下，客户段与YARN的资源管理器进行通信，从而获得容器来运行Spark应用。可将其视为一个小型Spark集群。在使用YARN运行Spark应用时，可使用YARN客户端模式或YARN集群模式。

2.1 YARN客户端模式

在YARN客户端模式下，driver在集群之外的节点（一般都是客户端节点）上运行。driver首先需要与资源管理器通信，从而请求资源并运行Spark作业。资源管理器会分配容器（0号容器）并响应driver。driver在0号容器中启动Spark应用主节点。Spark应用主节点在资源管理器分配的容器中创建executor。
YARN容器可位于集群中由节点管理器控制的任一节点，因此所有的资源分配都由资源管理器负责。
Spark应用主节点与资源管理器进行沟通，以获取其他容器来启动executor。