Spark 之 yarn-client模式 与 yarn-cluster模式 对比分析

目录

• 1、yarn-client 模式
• 2、yarn-cluster 模式
• 3、对比分析

1、yarn-client 模式

• 1、driver在本机启动
• 2、driver跟cluster manager申请资源，yarn-client，ResourceManager
• 3、RM分配一个container资源，在一个NM上，启动AM（ExecutorLauncher）
• 4、AM会找RM去申请资源，启动executor进程
• 5、RM会分配container给AM，然后AM会拿着container去找对应的NM，去启动executor进程
• 6、driver就可以给executor进程分配task，执行作业

2、yarn-cluster 模式

 

3、对比分析

在yarn-client 模式：，

1. driver运行在spark-submit提交的机器上，ApplicationMaster只是相当于一个