大数据-玩转数据-Yarn 与StandAlone调度对比

大数据-玩转数据-Yarn 与StandAlone调度对比

MapReduce中的maptask和reducetask都是在YarnChild中进行计算的,YarnChild是一个进程,使用jps命令可以看到

它们的区别：
1.

yarn	Spark
ResourceManager	master

作用:管理子节点,资源调度,接收任务请求

2.

yarn	spark
nodemanager	worker

管理当前节点,并管理子进程
对于nodemanager来说,子进程是yarnchild和appmaster,对于worker来说就是Executor

3.
yarn中的client用于提交任务,上传jar包,ApplicationMaster负责管理YarnChild

spark中的SparkSubmit相当于yarn中的client+ApplicationMaster,SparkSubmit的作用是提交任务,管理该任务的Executor,并将Task提交到Executor中去执行

4.yarn图

5.spark 图