二、基于yarn的两种提交模式

本文详细对比了YARN-Cluster与YARN-Client两种模式的运行流程,阐述了它们在资源管理和任务执行上的差异。YARN-Cluster模式适合生产环境,能有效避免网络流量激增,但调试较难;而YARN-Client模式适用于测试环境,虽然会导致大量网络通信,但便于本地调试。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

一 yarn-cluster模式

1. 发送请求到ResourceManager,请求启动ApplicationMaster。

2. 在某个NodeManager上启动ApplicationMaster。

3. ApplicationMaster向ResourceManager申请container,启动executor。

4. 分配一批container,用于启动executor。

5. AM连接其它NM,启动executor。

6. executor启动后,向AM反向注册。

 

二 yarn-client模式

1. 发送请求到ResourceManager,请求启动ApplicationMaster。

2. 在某个NodeManager上分配一个container,启动ApplicationMaster。这里的AM其实只是一个ExecutorLanucher。

3. ApplicationMaster向ResourceManager申请container,启动executor。

4. 分配一批container,用于启动executor。

5. AM连接其它NM,启动executor。

6. executor启动后,反向注册到本地的Driver上。

注:红色字体为区分点。

 

yarn-cluster与yarn-client用途建议:

A.  yarn-claster用于生产环境。Driver运行在nodemanager,不需要通过网络传输到提交机器,没有网卡流量激增的问题。

缺点在于,调试不方便。本地spark-submit后,看不到log,只能通过yarn application logs application_id这种命令来查看,很麻烦。

B.  yarn-client用于测试环境。Driver运行在本地客户端,负责调度application,会与yarn集群产生超大量网络通信,从而导致网卡流量激增。

好处在于,可以在本地看到所有log,方便调试。

 

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值