【spark床头书系列】Spark 集群模式概述

Spark 集群模式概述点击这里看全文

目录

1. 组件
2. 集群管理器类型
3. 提交应用程序
4. 监控
5. 作业调度
6. 术语表
   本文简要介绍了Spark在集群上运行的方式，以便更容易理解所涉及的组件。请阅读应用程序提交指南了解如何在集群上启动应用程序。

1. 组件

Spark应用程序作为一组独立的进程在集群上运行，由主程序中的SparkContext对象（称为驱动程序）协调。

具体来说，要在集群上运行，SparkContext可以连接到几种类型的集群管理器（包括Spark自己的独立集群管理器、Mesos、YARN或Kubernetes），这些管理器在应用程序之间分配资源。一旦连接成功，Spark会在集群中的节点上获取执行器，执行器是运行计算并存储应用程序数据的进程。然后，它将应用程序代码（由传递给SparkContext的JAR或Python文件定义）发送给执行器。最后，SparkContext将任务发送给执行器以运行。

Spark集群组件

有关这个架构，有几个