【Spark】Spark 的运行环境、运行架构、提交流程

  前几天大概了解了 Spark 是什么，没看过的可以点击下面的链接。今天开始正式学习 Spark。

1.Spark 运行环境

1.1 Local 模式

本地执行 Spark 代码的环境。用于调试、练习。

1.2 Standalone 模式

独立部署模式。Spark 自身提供计算资源。Spark 是计算框架，但自身资源调度不是它的强项。整体是 master-slave 架构。

1.3 Yarn 模式

使用 Yarn 作为资源调度框架，工作中使用最多。可以先点击下面的链接阅读之前的文章了解什么是 Yarn。
Yarn 资源调度器

1.4 K8S 模式

容器化部署十分流行，基于 Docker 运行应用，使用 Kubernetes（k8s）管理容器

1.5 Mesos 模式

使用较少。

1.6 Windows 模式

自己学习使用。

1.7 各种模式对比

模式	需启动的进程	所属者	应用场景
Local	无	Spark	测试
Standalone	Master Worker	Spark	独立部署
Yarn	Yarn HDFS	Hadoop	混合部署

2.Spark 运行架构

整体是 master-slave 架构。

Spark 运行架构包括集群资源管理器（Cluster Manager）、运行作业任务的工作节点（Worker Node）、每个