Spark一千篇旅游日记0004 之 作业执行解析

一. 一个spark程序细分成计算粒度的过程

1.从任务执行的角度看:

task是spark中最小粒度的计算.

其中每一个绿色箭头就表示一个task

2.从集群的角度看:

细分成单个线程:

二. 集群和任务的关系图表:
比喻一下:
现在要做一个项目Application,有5台机器(称为worker Node1,2,3,4,5)可以做这个项目,而这个项目有3个子任务(称为Job1,Job2,Job3),现在我们用这5台机器同时先完成Job1,再同时一起做Job2,最后再同时做Job3.
这就是集群和任务的关系,就好比x轴和y轴的关系.每台机器都做了三个任务,每个任务都由5台机器共同完成.

那么每一台机器具体怎么做好每个Job呢?
这5台机器每个只开一个进程(称为executor)去做这个整个项目.在这每一个executor里面,都是从头到尾的把所有Job做完.

每个Job任务,都分为好几个步骤(称为stage)去做,每个步骤又由几个互不影响的事情(称为task)组成.
所以是executor安装顺序执行stage,而执行stage的时候,每个task都可以开一个线程去执行.

三. spark程序执行流程:
http://www.cnblogs.com/shenh062326/p/3658543.html