2024.1.3 Spark on Yarn部署方式与工作原理

目录

Spark集群类型有以下几种：

Spark的部署方式有以下几种：

Spark on YARN的部署方式有两种：client模式和cluster模式。

Spark底层的工作原理,执行流程

---

Spark集群类型有以下几种：

1. Standalone模式：这是Spark自带的一种集群管理模式，可以在单个机器上启动一个Spark集群，适用于开发和测试环境。
2. YARN模式：这是一种分布式资源管理器，可以与Hadoop集成，将Spark作为YARN应用程序运行在Hadoop集群上。
3. Mesos模式：这是一种通用的集群管理器，可以与多种应用程序框架集成，包括Spark。Mesos可以在多个机器上共享资源，并根据需要分配资源给不同的应用程序。
4. Kubernetes模式：这是一种开源的容器编排平台，可以用于部署和管理容器化的应用程序，包括Spark。Kubernetes可以自动管理容器的调度和资源分配。

Spark的部署方式有以下几种：

1. Standalone模式：在Standalone模式下，Spark集群由一个主节点和多个工作节点组成。主节点负责调度任务和资源管理，工作节点负责执行任务。这种部署方式适用于小规模的集群。

2. YARN模式：YARN是Hadoop的资源管理器，可以用来管理Spark集群的资源。在YARN模式下，Spark作为一个YARN应用程序运行在YARN集群上。这种部署方式适用于大规模的集群。</