Spark 基本术语表

最新推荐文章于 2024-05-22 15:17:22 发布

原创

最新推荐文章于 2024-05-22 15:17:22 发布 · 1.6k 阅读

2 ·

CC 4.0 BY-SA版权

文章标签：

#spark

这篇博客主要介绍了Spark的基本术语，包括Application、Driver Program、Cluster Manager、Worker Node、Executor和Task等概念。Application是基于Spark的用户程序，Driver Program是运行main函数并创建SparkContext的程序，Cluster Manager负责在集群上分配资源。Worker Node是集群中的节点，Executor是在worker node上为特定应用启动的进程，执行任务并存储数据。Task是executor上的工作单元，Job是并行计算的集合，由多个任务组成，而Stage是Job拆分的任务组。

以下内容来自 http://spark.apache.org/docs/2.1.0/cluster-overview.html#glossary , 需要对 spark 的整个运行过程有所了解才能真正理解这些术语的涵义.

可以先看一下 http://dblab.xmu.edu.cn/blog/972-2 了解一下概况.

术语	术语简译	涵义
application	应用	基于 Spark 构建的用户程序. 一般包括了集群上的一个 driver 程序与多个 executor
application jar	应用的 jar 包	包含了用户的 Spark application 的一个 jar 包. 在某些情况下用户可能想要创建一个囊括了应用及其依赖的 “超级” jar 包. 但实际上, 用户的 jar 不应该包括 Hadoop 或是 Spark 的库, 这些库会在运行时被进行加载.
driver program