Spark工作流程

一、Spark架构组成图：

  待补充......

• ..............

• ..............

• ......................

Glossary

The following table summarizes terms you’ll see used to refer to cluster concepts:

Term	Meaning
Application	基于Spark的用户程序 (创建了一个SparkContext ) .由一个 driver  进程 和N个 executor  进程  on the cluster模式下.
Application jar	Spark包含的jar包
Driver program	一个Driver进程运行  main() 方法,创建一个SparkContext
Cluster manager	提交集群(--master local/standalone/on yarn)模式下的资源管理(提交设置code memory....)
Deploy mode	区分Driver进程在什么地方cluster or client, 主要区别 是Driver在本地还是集群的Container里
Worker node	运行Spark代码的应用程序的节点(standalone模式概念),在(on yarn)模式下是NodeManager
Executor	一个Executor进程,运行在Container里,能够运行我们Task,保存数据到内存里或者磁盘上，每一个应用程序有自己独立的Executor
Task	最小的工作单元,Driver发送代码到Executor然后Task执行
Job	每一个Action就会产生job(map,conllect)
Stage	每个Job被拆成Task集合,遇到shuffle会stage+1

来自 “ ITPUB博客 ” ，链接：http://blog.itpub.net/31441024/viewspace-2212637/，如需转载，请注明出处，否则将追究法律责任。

转载于:http://blog.itpub.net/31441024/viewspace-2212637/