超级会员免费看
本文介绍了Spark的运行时架构，包括本地模式、Spark Standalone、Spark on YARN，详细解析了YARN集群架构中的ResourceManager、NodeManager、Task、Container和ApplicationMaster等组件，阐述了两种提交方式的应用场景。
文章目录
零、本讲学习目标
- 了解Spark架构
- 了解Spark原理
一、Spark运行时架构
- Spark有多种运行模式，可以运行在一台机器上，称为本地（单机）模式，也可以以YARN或Mesos作为底层资源调度系统以分布式的方式在集群中运行，称为Spark On YARN模式，还可以使用Spark自带的资源调度系统，称为Spark Standalone模式。
- 本地模式通过多线程模拟分布式计算，通常用于对应用程序的简单测试。本地模式在提交应用程序后，将会在本地生成一个名为SparkSubmit的进程，该进程既负责程序的提交，又负责任务的分配、执行和监控等。
二、YARN集群架构
- 在讲解Spark集群架构之前，首先需要了解YARN集群的架构。YARN集群总体上是经典的主/从（Master/Slave）架构，主要由ResourceManager、NodeManager、ApplicationMaster和Container等几个组件构成。
- YARN集群架构图
订阅专栏 解锁全文
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
